Голосовой ассистент зациклился на бороде героя ролика

Три часа обсуждения, минута готового ролика и голосовой ассистент, который отвечал экспертам прямо в эфире. Так прошёл хакатон «Новые города» в «Большом Физтехе»: эксперты, школьники и студенты с нуля придумывали посёлок будущего, команды работали на GPTunneL, а GROM слушал разговор и подводил итоги. Для продюсера тут интереснее всего то, что сломалось. Ассистент прилип к бороде персонажа, а 15 минут разговора выпали из обработки.

Как голосовой ассистент услышал три часа разговора

Главная сложность живого формата – дать модельке свежий контекст без задержки. Спикеров не заставляли вбивать промпты руками. Микрофоны за столом писали звук, а vMix каждые пять минут резал аудио на фрагменты и отправлял их на локальный сервис Whisper.

Расшифровки уходили в Claude Sonnet. Он вёл сквозной конспект: кто что предложил, до каких решений дошли, какие вопросы остались открытыми. Конспект автоматически подставлялся в системную инструкцию GROM. Ведущий звал ассистента по кодовому слову, и тот уже знал всю историю разговора. Озвученные ответы шли в эфир без предварительной модерации. Смелое решение, и ниже видно, чем оно обернулось.

Ролик собирался параллельно с разговором

Пока спикеры спорили о концепции, креатор Никита Степанов из студии YŪGA VISION делал видео. Порядок был такой:

1. Эксперты выбрали главного героя – наставника. Креатор сразу зафиксировал его внешность, чтобы персонаж не менялся от кадра к кадру.
2. Идеи из разговора превращались в сцены через GROM: прогулки у воды, спортплощадки, жилые зоны.
3. Кадры сводили с дикторской озвучкой и музыкой в редакторе сценариев Workflow. Надписи на дирижаблях дорабатывали на обычном монтаже, весь остальной визуальный ряд рождался по ходу стрима.

Генеральным продюсером хакатона был Ираклий Цезаров, за AI-продакшен отвечал в том числе Денис Мищенко из SKILLOUT. К концу трёх часов зрители получили промо-ролик, а команда GPTunneL параллельно сделала сайт посёлка. Для агентства это значит одно: идея и первый ролик по ней уместились в один эфир, без паузы между брифингом и производством.

Борода и пятнадцать потерянных минут

Первая проблема – накопление контекста. Спикеры долго спорили, нужна ли наставнику борода, и GROM зациклился на теме. Он вставлял бороду даже в ответы про продолжительность жизни. Инженеру пришлось чистить историю диалога вручную, прямо во время трансляции, а вывод по спору записали в отдельный документ. После этого ассистент вернулся в норму.

Вторая проблема – аудиопоток. У скрипта распознавания не было очереди задач. Когда файлы прилетали одновременно, он брал самый свежий и пропускал предыдущие. Так 15 минут разговора не попали в автоматический конспект, их доделывали руками. Заодно Whisper без заранее загруженного словаря брендов искажал названия компаний и иногда путал спикеров.

Что проверить до своего эфира с ассистентом

Для коммерческого запуска такую схему я бы пока страховал. Четыре шага, которые можно сделать до первой репетиции:

– Назначьте человека, который может очистить память ассистента на ходу, и заведите отдельный документ для принятых решений. – Попросите у подрядчика схему обработки звука. Есть ли очередь задач, что будет, если два фрагмента придут одновременно? Проверьте это на тестовом прогоне. – Загрузите в распознавание словарь: названия брендов, продуктов, фамилии спикеров. – Решите заранее, пускаете ли вы голос ассистента в эфир без модерации. Если да, подготовьте план на случай, когда он зациклится.

Дальше, как мне кажется, голосового ассистента свяжут с видеоредактором, и на клиентской презентации ролик начнут править голосовой командой. Честно, не знаю, как скоро это станет рабочей практикой. Но сам формат, где живой разговор сразу превращается в сцены, уже показал, что работает.

Если вы думаете, как встроить такой процесс в своё мероприятие или агентство, основная работа здесь – страховочные контуры и подготовленная команда. Как это выглядит на практике, можно посмотреть на странице AI-консалтинг и обучение команд.