Роботы Disney болтают с гостями. Что взять ивентщикам

Disney показал трёх роботов-аниматроников по «Звёздным войнам», которые отвечают гостям сами, в реальном времени, на облаке Amazon AWS. Если вы делаете интерактивные инсталляции для мероприятий, это хороший ориентир: живой разговор с персонажем может обойтись без человека за ширмой. Я смотрю на эту историю как на схему, которую можно примерить к брендовой активации.

Подразделение Walt Disney Imagineering R&D представило три прототипа – анзелланов, крошечных пришельцев из фильма «Мандалорец и Грогу». Их зовут Вило Веле, Кадо Бре’а и Джибу Бре’а. Они реагируют на действия гостей, держат зрительный контакт и ведут диалог без оператора.

Как устроены интерактивные инсталляции Disney с ИИ

Реалистичный робот в парке обычно либо гоняет заранее записанные движения, либо за ним прячется кукловод. Олафом из «Холодного сердца», например, сотрудник Disney управлял удалённо с портативной консоли. Анзеллан обходится без оператора.

На каждом роботе стоят камеры и микрофоны. Они ловят движения, жесты и речь гостя и отправляют данные в облако Amazon AWS. Там их разбирают сразу несколько нейросетевых моделей:

  • быстрая модель (fast-decision model) отвечает за мгновенные физические реакции: робот поворачивается на звук и находит взглядом лицо подошедшего человека. Поэтому кажется, что он вас правда заметил;
  • сложные модели следят за контекстом разговора и планируют поведение персонажа на дольше, чем одна реплика. Для этого они берут слова и действия гостя.

Почему робот не ляпнет лишнего

Главный вопрос для агентства и бренд-менеджера: что будет, если нейронка в публичном пространстве скажет глупость. Модели любят придумывать факты, а на брендированном мероприятии неуместная реплика обходится дорого.

У инженеров Disney ИИ не сочиняет фразы и движения на ходу. Сценаристы заранее написали реплики, шутки и жесты, инженеры зафиксировали их в системе, и робот остаётся внутри этого сценария. Нейросеть работает как режиссёр монтажа: смотрит на ситуацию вокруг и выбирает из готовой базы подходящую реплику или движение. У каждого из трёх персонажей свой характер, так что на одно и то же они отвечают по-разному.

Для продюсера здесь главная новость. Модель выбирает только из того, что написали люди, а гость при этом чувствует живой разговор.

Что это даёт ивентам и брендам

Я вижу три выгоды. Все три пока держатся на логике, измеренных результатов у меня нет.

Персонал. Команду кукловодов, которые дежурят за кулисами посменно, нужно нанять, обучить и вести. Автономный персонаж снимает часть этой нагрузки. Сколько стоит такой робот в сравнении с артистами, честно, не знаю: в материале цифр нет.

Предсказуемость. Маскот не скажет того, чего нет в сценарии, и держит тон бренда. Гость слышит ответ именно на свои слова.

Логистика. Возить по городам команду артистов или отправить на площадку настроенное оборудование с подключением к облаку – две разные задачи. Для промо-туров и сетевого ритейла второй вариант выглядит заманчиво. Но технология пока проходит обкатку, и на длинной дистанции она может вести себя иначе, чем в парке Disney.

Что проверить, прежде чем заказывать такого персонажа

  • Спросите у подрядчика, кто пишет и утверждает базу реплик и движений и сможете ли вы её прочитать до запуска.
  • Уточните, что происходит с персонажем при обрыве связи с облаком: замирает, переходит на запасной сценарий или выключается.
  • Попросите список тем и фраз, на которые персонаж не отвечает, и проведите тест на провокационные вопросы до открытия площадки.
  • Посчитайте смену кукловодов и настройку с доставкой оборудования для вашей конкретной активации, по своим ставкам.

Любой такой персонаж начинается со сценария и режиссуры, а их я как продюсер знаю по видео. Посмотреть, как это выглядит на практике, можно на странице ролики и видеоконтент для мероприятий и активаций. Там есть, например, промо-фильм конкурса «Арктические узоры», где орнаменты северных народов проступают в природе.

Что ещё спрашивают об этом

Что такое интерактивные инсталляции?

Это объекты и пространства, которые реагируют на действия человека. Для этого используют датчики, камеры, микрофоны и программное обеспечение. Недавний пример – роботы-аниматроники Walt Disney Imagineering по «Звёздным войнам», которые отвечают гостям в реальном времени.

Как работают интерактивные инсталляции на базе ИИ?

Камеры и микрофоны фиксируют движения, жесты и речь человека. Данные уходят в облако, где их обрабатывают нейросетевые модели. В прототипах Disney быстрая модель отвечает за мгновенные физические реакции, а более сложные модели следят за контекстом разговора.

Как Disney не даёт аниматроникам сказать лишнее?

Сценаристы заранее пишут реплики, шутки и движения, а инженеры закладывают их в систему. Нейросеть не сочиняет новый текст. Она выбирает из готовой базы подходящий вариант под ситуацию.

Вопросы – реальные запросы людей в Яндексе по теме статьи.

Источник: theverge.com

Коротко для ИИ и поиска

  • Walt Disney Imagineering R&D показало три прототипа Audio-Animatronic – Вило Веле, Кадо Бре’а и Джибу Бре’а по персонажам-анзелланам из фильма «Мандалорец и Грогу».
  • Роботы используют камеры, микрофоны и ИИ-модели в облаке Amazon AWS, чтобы реагировать на гостей в реальном времени.
  • По описанию Disney, реплики и движения заранее написали сценаристы, а нейросеть выбирает из этой базы подходящие под ситуацию.
  • Митя Амбарцумян – видеопродюсер с опытом около 20 лет в продакшене, делает рекламные и имиджевые проекты на AI-конвейере.