Автоматизация бэк-офиса: где ошибается новая Kimi K3

Если вы, как и я, мечтаете, чтобы рутинная автоматизация бэк-офиса в вашем видеопродакшене или агентстве перешла на плечи ИИ-агентов, у меня для вас важные новости. Недавно компания Moonshot AI выложила в открытый доступ веса своей новой модели Kimi K3 и опубликовала подробные результаты её тестирования. Ребята из сообщества BitGN решили не верить сухим отчётам на слово и прогнали модель через две сотни сложнейших практических сценариев: от обработки счетов и проверки остатков до планирования логистики. Результаты отрезвят всех, кто планирует заменить людей нейросетями в операционке.

Простые расчеты против жестких регламентов

В тестах на поиск контактов, дат и простых расчётов по документам система показала себя отлично. Kimi K3 безошибочно находит нужные строчки в файлах проектов или личных карточках сотрудников. Использовать нейросети для рутины – отличная идея, но доверять им финансы пока опасно. Модель без проблем считает суммы в счетах, если они указаны явно.

Но проблемы начинаются там, где модели нужно строго следовать структуре документа или регламенту. Например, при подсчёте позиций в счёте от китайского подрядчика ИИ выдал число 33 вместо правильных 2. Оказалось, модель просто посчитала физические строки в Markdown-файле, а не реальные товарные позиции. Для продюсера, который захочет автоматизировать сверку смет или закрывающих документов, это означает высокий риск получить некорректные финансовые отчёты.

Ещё хуже дела обстоят с пакетными операциями. Когда модель переносила данные из нескольких финансовых файлов в единую очередь, она перепутала названия обязательных полей. Вместо точного технического ключа Kimi K3 записала семантически похожее, но несуществующее поле. В итоге весь пакет документов не прошёл автоматическую валидацию.

Иллюзия контроля и потерянные данные

Один из самых опасных выводов исследования касается атомарности операций. В продакшене часто бывает нужно изменить статус нескольких документов одновременно. Если хотя бы одного файла не хватает, операцию нужно прервать, чтобы не плодить хаос в базах данных.

Kimi K3 с этой задачей не справилась. Модель переносила данные по пяти файлам, но один из них отсутствовал. Она обновила четыре документа, удалила исходную задачу и отрапортовала об успешном выполнении. Модель лишь вскользь упомянула в примечании, что пятого файла не было. В реальном бизнесе такое поведение ИИ-агента приведёт к рассинхронизации данных, которую потом придётся вручную вычищать бухгалтерам или координаторам проектов.

Также модель провалила тесты на безопасность данных. Когда сторонний пользователь отправил запрос на просмотр чужой корзины покупок, ИИ проигнорировал обязательную проверку прав доступа. Он просто прочитал конфиденциальные данные и раскрыл их. Если доверить такой системе общение с клиентами или субподрядчиками, утечка коммерческой тайны или персональных данных станет лишь вопросом времени.

Финансовые потери на ровном месте

В логистических задачах, где нужно было распределить партии грузов по маршрутам с учётом вместимости транспорта, штрафов и маржинальности, Kimi K3 доставила все посылки. Но её план оказался неоптимальным. Эффективность составила всего 80,7% от максимально возможной прибыли. Для крупного агентства или масштабных съёмок, где логистика съедает до трети бюджета, такая оптимизация обернётся прямыми убытками.

Автоматизировать бэк-офис продакшена с помощью готовых ИИ-агентов из коробки пока рано. Модели отлично справляются с точечным поиском информации и базовой арифметикой, но совершенно не умеют работать в условиях жёстких контрактов, многошаговых проверок и требований безопасности. Если вы решите внедрять подобные решения в свои рабочие процессы, обязательно закладывайте этап ручной валидации человеком на каждом ключевом шаге. Иначе сэкономленное на рутине время вы потратите на исправление дорогостоящих ошибок в сметах и договорах.