Muse от Meta* отвечает по видео. Что это даёт ивентам

Meta* добавила в ИИ-агента Muse видеозвонок. Вместо переписки в чате с ним можно говорить в реальном времени, а отвечает цифровой аватар с мимикой и жестами, внешность которого настраивается. Пишет TechCrunch, пока функция доступна только пользователям в США. Раньше аватар на стенде проигрывал заготовленную реплику. Теперь крупная платформа показывает, как он отвечает по ходу разговора, и для продюсеров, ивент-агентств и бренд-менеджеров это повод пересмотреть ожидания гостей.

Что запустили и чего пока нет

Из подтверждённого три вещи. Разговор идёт по видеосвязи в реальном времени. Аватар двигает лицом и руками. Внешность собеседника пользователь выбирает и настраивает сам. Про задержку, цену и доступ для брендов в материале ни слова, и я не буду делать вид, что знаю больше. Muse пока продукт для обычных пользователей, а что с ним сможет делать агентство, неизвестно.

Теперь взгляд с кухни продакшена. Интерактивного персонажа на стенде обычно собирали из кусочков: Whisper слушает, LLM придумывает ответ, синтезатор озвучивает, внешний генератор рисует лицо. Четыре звена, четыре места, где может сломаться. Если Meta* показывает тот же результат как один звонок, планка у гостей вырастет. Человек, поговоривший с Muse по видео, придёт к вашему стенду уже с этим опытом.

Цифровой аватар на стенде: где я бы его проверил

Это мои гипотезы, а не готовые решения. Я бы проверил три сценария.

Первый – консультант в павильоне. Персонаж в фирменном стиле марки отвечает на вопросы посетителей голосом и лицом. Нужна база знаний о продукте, и вот тут я не знаю, дадут ли такую возможность платформы вроде Muse или придётся строить свою цепочку.

Второй – ведущий интерактивной панели. Если тяжёлая работа идёт в облаке, на площадке хватит экрана и стабильного интернета, а рендер на локальном сервере отпадает. Зато интернет на выставках, как мы знаем, живёт своей жизнью.

Третий – персональный гид на смартфоне участника. Он подсказывает программу, ведёт к нужной зоне и отвечает на вопросы. Честно, не знаю, как это отработает в шумном зале: распознавание речи в толпе – отдельная головная боль.

Что сделать на этой неделе

• Выпишите свои интерактивные кейсы и разделите их: где нужен живой диалог с персонажем, а где хватит предзаписанного ролика. Диалог дороже и рискованнее, платить за него стоит там, где он продаёт.
• Если аватар у вас собран из цепочки сервисов, нарисуйте схему: распознавание, диалог, голос, видео. Рядом отметьте, что будет при обрыве связи на площадке.
• Заложите в следующий тендер тестовый прогон диалогового аватара за неделю-две до мероприятия, а не первый запуск в день открытия.
• Если аватар похож на реального человека, проверьте, есть ли в договоре с ним согласие на синтез образа и голоса.

* Meta признана в России экстремистской организацией и запрещена.

Если идея с аватаром упирается в реальное производство – образ персонажа, ролики для экранов, визуальный стиль, – посмотрите, как это выглядит на практике, на странице AI-видеопродакшн Мити Амбарцумяна. Там есть «Окко. Спорт в цифрах» – генеративный фильм про падел с цифрами внутри кадра, и OREX – имиджевый тизер для платформы земли в Дубае, который работает в продажах.