Агентные системы ИИ: почему экономия на LLM разорит проект

Рекламные и креативные агентства автоматизируют рутину – от написания сценариев до сборки медиапланов. Для этого они создают ИИ-помощников. При выборе языковой модели продюсеры часто экономят и берут дешевые версии вроде GPT-4o-mini или Claude Haiku. Логика проста: зачем переплачивать за миллион токенов, если облегченная нейросеть по тестам почти не уступает флагманской? На практике это финансовая ловушка. Дешевые агентные системы тратят бюджет на бесконечные циклы, ошибки и сотни повторных запросов. Разбираю реальную экономику таких проектов и причины, почему дешевый запуск обходится дороже.

Ловушка дешевого токена и скрытая пошлина

Разработчики снижают цены не из альтруизма. Чтобы обслужить поток запросов, они выпускают облегченные версии: сжимают нейросети через дистилляцию и квантизацию. Такие модели работают быстрее и стоят дешевле, но хуже планируют действия и теряют глубину логики.

Пример из видеопродакшена: агент должен найти референсы на видеоплатформах, скачать их, нарезать нужные кадры и загрузить в презентацию. Дорогая флагманская модель видит задачу целиком. Она сразу пишет правильный скрипт, вызывает нужные инструменты и решает задачу за три шага.

Дешевая модель теряется. Она делает первый запрос, получает ошибку сервера, пытается ее исправить и делает только хуже. Затем ищет решение в поисковиках, пытается применить чужой код, снова ошибается и уходит в бесконечный цикл. Вместо трех точных запросов система совершает десятки пустых действий. На каждый шаг она тратит токены и заново передает контекст. В итоге вы платите за объем дешевых токенов больше, чем за пару запросов к дорогой модели.

Почему красивые графики тестов врут в реальной работе

Продюсеры часто выбирают нейросети по таблицам бенчмарков. В них дешевая модель отстает от лидера всего на пару процентов. Но эти тесты измеряют ответы на изолированные вопросы и не проверяют планирование сложных цепочек действий.

К тому же популярные тесты устарели. Нейросети обучали на текстах из интернета, куда попали и тестовые вопросы. Модели их зазубрили. На «чистых» тестах без утечек данных результаты моделей резко падают.

В бизнесе все еще сложнее. Даже топовые модели успешно завершают около половины корпоративных процессов. Они спотыкаются на грязных данных и не умеют вовремя остановиться. Дешевые модели в таких условиях галлюцинируют, а продюсеру приходится переделывать работу вручную.

Три метрики для оценки реальной стоимости ИИ

Рекомендую оценивать эффективность ИИ-ассистентов не по прайс-листу провайдера, а по трем бизнес-метрикам.

Первая – стоимость выполненной задачи (Cost per Task). Сложите расходы на запросы, включая неудачные попытки, и разделите на количество успешных результатов. Это покажет реальную цену готового сценария или раскадровки.

Вторая – эффективность использования инструментов (Tool Call Efficiency). Считайте количество обращений к внешним сервисам на одну задачу. Если дорогая модель справляется за три шага, а дешевая делает восемь – первая выгоднее.

Третья – частота критических сбоев (Failure Rate). Как часто агент уходит в бесконечный цикл или выдает нерабочий результат? Время продюсера на ручную проверку стоит дороже серверов.

ИИ-агент – это ваш цифровой сотрудник. Если нанять дешевого и неквалифицированного работника, за ним придется все переделывать. Считайте совокупную стоимость владения технологиями, тестируйте модели на реальных задачах и не позволяйте маркетинговым обещаниям портить экономику проектов.