Аватар Tavus сошёл за человека у 26 из 54 участников

Американский стартап Tavus показал модель Griffin для видеосвязи в реальном времени. Компания заявляет, что её цифровой аватар впервые прошёл тест Тьюринга в формате видеозвонка. В эксперименте 26 из 54 участников (48 %) после минутного разговора приняли виртуального собеседника Griffin-Lite за человека. Громко звучит, да. Я бы пока держал паузу: тест проводил сам разработчик, а слово «первый» тоже его. Но продюсеру и организатору мероприятий цифра всё равно интересна, потому что аватар, который отвечает без паузы, уже не годится в игрушки для демо.

Цифровой аватар без цепочки: как Griffin отвечает без задержки

Раньше такие решения работали по эстафете. Система распознавала речь, отдавала текст языковой модели, синтезировала голос и только потом рисовала картинку. Задержка копилась на каждом шаге, и собеседник после каждой реплики ждал ответа. Какой уж тут живой диалог.

В Griffin разработчики собрали полнодуплексную систему «видео-в-видео» из двух частей. Первая постоянно слушает и смотрит пользователя и решает, когда и как реагировать. Вторая собирает эти сигналы в готовый видеопоток со звуком.

Состояние диалога модель оценивает быстрее чем за секунду. Она умеет перебивать, кивать в такт, вставлять короткие реплики и менять мимику, пока вы ещё говорите. Паузу собеседника она больше не считает сигналом, что пора начинать монолог. Выходит почти как зум с коллегой.

Что в цифрах Griffin-Lite, а что стоит перепроверить

Инженеры Tavus относят Griffin к моделям взаимодействия с человеком: вы разговариваете с ней, а не вбиваете команды. Griffin-Lite выдаёт видео в 720p короткими фрагментами по 320 миллисекунд, а для клонирования голоса ей хватает десяти секунд записи. Задержка от входящего звука до видеокадров на Nvidia H100 – 0,43 секунды.

В бенчмарке VideoFDB Griffin-Lite получила 3,83 балла из 5 за аудиовизуальное поведение, у человека эталон 3,92. По восприятию у неё 3,73 против 3,44 у ближайшего конкурента. Те, кто заподозрил подвох, обычно догадывались в первые 20 секунд разговора.

Теперь моя осторожность. 48 % означает, что больше половины участников аватара всё-таки раскусили. Разговор длился минуту, а настоящие переговоры длятся час. Как модель поведёт себя на длинной дистанции, честно, не знаю, и в источнике этого нет. Пока Griffin-Lite доступна ограниченному кругу тестеров, а разработчики собираются обязать систему предупреждать собеседника, что он говорит с нейросетью.

Где аватар пригодится агентству и что проверить завтра

Я вижу три сценария. Первый – интерактивные зоны на мероприятиях: экран с ассистентом отвечает гостям на типовые вопросы вместо промоутера. Второй – бренд-амбассадор, персонаж, который общается с клиентами на сайте или в приложении, и это живее текстового чат-бота. Третий – тренажёр внутри агентства: ИИ играет требовательного заказчика, а менеджер репетирует защиту проекта.

Доступа к технологии у большинства пока нет, но подготовиться можно уже сейчас:

• Выпишите вопросы, которые гости и клиенты задают вам чаще всего на последних мероприятиях и созвонах. Это готовая база для сценария аватара.
• Добавьте в договоры с актёрами и спикерами пункт про клонирование голоса и лица. Десяти секунд записи уже хватает.
• Решите заранее, как вы предупреждаете людей, что они говорят с нейросетью. Разработчики Griffin сами собираются это требовать.
• Когда дойдёт до пилота, просите показ на вашей площадке и в вашей сети. Цифра 0,43 секунды получена на H100, а в зале с загруженным вайфаем всё может выглядеть иначе.

Если ваша задача упирается не в живой диалог, а в ролик, который надо снять быстро и красиво, посмотрите, как это выглядит на практике, в портфолио AI-видеопродакшн Мити Амбарцумяна. Там есть «Окко. Спорт в цифрах» – межпрограммный генеративный фильм про падел с цифрами внутри кадра. И OREX – имиджевый тизер для платформы земли в Дубае, который работает в продажах.