Разработка ИИ-агентов: как сэкономить на токенах

Если ты в агентстве или продакшене оптимизируешь рутину, разработка ИИ-агентов наверняка стоит в планах на квартал. Я постоянно вижу, как коллеги пытаются переложить на нейросети клиентский сервис, сценарии или CRM. Но боты часто ошибаются, галлюцинируют и сжирают бюджет на токенах. На днях я изучил разбор разработчика, который собрал 33 ИИ-агента на одном движке – от шахматного тренера до контент-цеха. Этот кейс четко показывает, где проходит граница между кодом и языковой моделью. Это поможет автоматизировать процессы в агентстве с прибылью, а не в убыток.

Почему нейросеть не должна считать деньги

В личном помощнике языковая модель может фантазировать. Но в корпоративном агенте для расчета смет, медиапланирования или ведения CRM ей нельзя доверять ни одной итоговой цифры. Автор статьи выводит главное правило: все вычисления и жесткие правила должен контролировать классический код на Python. Модель должна лишь переводить эти данные на человеческий язык.

Пример с шахматным тренером для ребенка отлично это иллюстрирует. Оценку позиции, поиск ошибок и легальность ходов считает проверенный софт. Модель получает на вход только готовый JSON-файл с сухими фактами. Она просто облекает их в нужный тон – помягче или построже. Система даже не отправляет имя ребенка в облако ИИ, а заменяет его временным шаблоном ради безопасности.

Для продюсера это означает простое правило. Если ты делаешь бота для генерации коммерческих предложений, не заставляй большую языковую модель складывать цифры. Пусть базу считает скрипт, а нейросеть пишет красивое сопроводительное письмо. Если модель попытается сама посчитать скидку или хронометраж ролика, она обязательно ошибется.

Как раздутый промпт сжигает бюджет

При проектировании сложного агента для ведения контент-плана или администрирования CRM хочется дать ему как можно больше инструментов. Но каждый инструмент – это кусок технического описания, то есть JSON-схема. Модель получает ее при каждом запросе.

У простого бота конференции с тремя инструментами схемы занимают крошечную часть запроса. Но у CRM-администратора с 331 инструментом размер схем разрастается до 302 килобайт. Это около 75 тысяч токенов в начале каждого запроса! Даже с учетом кэширования это сильно раздувает окно контекста и бьет по карману агентства. Каждое обращение к такому боту становится неоправданно дорогим.

Автор кейса сократил промпт одного из учебных агентов с 15 266 до 1 424 токенов всего тремя правками в конфигурации. Он сузил набор инструментов до действительно необходимых, отключил лишние пробы окружения и убрал режим рассуждения (reasoning). В итоге скорость ответа выросла в два раза. Медиана времени ожидания упала с 17 до 7,7 секунды, а затраты на токены снизились на порядок.

Проектируй пользу, а не пиши инструкции

Один из самых поучительных моментов статьи – признание автора в том, что он написал почти шесть тысяч строк отличного Python-кода для бытового помощника. Но этот код в итоге лежит без дела. Разработчик настроил сложнейший разбор банковских выписок, напоминания и даже астрологические расчеты. Но он просто не встроил это в реальный пользовательский путь.

Для продюсера или владельца агентства это главный продуктовый урок. Автоматизация ради автоматизации не работает. Если настраиваешь процессы в агентстве, начни с точечного решения конкретной боли сотрудников.

И помни: правила только в виде текста в промпте – это лишь твои пожелания. Рано или поздно модель ошибется в расчете дат или начислении бонусов. Все критически важные метрики, финансовые транзакции и дедупликацию нужно жестко кодить, а не доверять промпту. Только тогда твои ИИ-агенты будут работать стабильно, не выходить за рамки регламентов и приносить реальную пользу бизнесу.