Amazon пустит виртуальную камеру сквозь игроков НБА

Перед вторым сезоном баскетбола на Prime Video Amazon запускает систему камер с ИИ, которая воссоздаёт игровой эпизод в виде 3D-сцены. Называется Prime 360. Режиссёр повтора берёт виртуальную камеру и проводит её прямо сквозь заслон игроков – туда, где физической камере не встать. Я бы следил за этим внимательно: 3D-реконструкция видео выходит в большой прямой эфир, и через пару лет такие ракурсы могут попасть в ТЗ на ваши ивенты.

Как работает 3D-реконструкция видео у Amazon

Любой спортивный эфир упирается в физику камер. Краны, спайдеркамы, операторские тележки – а ключевой момент всё равно закрывает чья-нибудь спина. Amazon заходит с другой стороны и поручает ракурс нейронке.

По периметру арены стоит кольцо синхронизированных откалиброванных камер высокого разрешения. Картинка уходит в облако AWS, где диффузионные модели на чипах AWS Trainium покадрово собирают трёхмерную геометрию сцены. На выходе получается воксельная модель, и обновляется она на каждом кадре.

Директор по продукту Amazon Уэйд Вакасигэ говорит, что режиссёр повторов может буквально протащить виртуальную камеру сквозь игроков. Зритель видит игру из центра площадки, с траектории и глубины, которые физической камерой не снять. Работает это в повторах, а также в предматчевых, перерывных и аналитических студийных блоках.

Поверх картинки лежит слой данных

Сейчас Amazon показывает более 100 матчей НБА по 11-летнему контракту и тестирует гибридные форматы подачи в режиме Prime Vision. Параллельно к видео подключили интерактивный слой. Сервис фэнтези-баскетбола Yahoo Sports после связки аккаунтов выводит поверх потока показатели выбранных игроков и личную статистику в реальном времени. Рядом трекинг ставок через FanDuel и рекомендательный движок, который подсказывает интересные моменты в параллельных матчах.

Для агентств и продюсеров коммерческих трансляций это готовый шаблон: эффектная картинка плюс персональные данные, и зритель сидит в одном плеере. Как это отработает на длинной дистанции, честно, не знаю. Но схему стоит запомнить.

Что проверить продюсеру и агентству уже завтра

Амазон никаких бюджетов не называет, поэтому экономию я не считаю. Зато вижу три сценария, которые логично вытекают из самой технологии. Меньше дорогих подвесных систем: фиксированные камеры плюс облачный рендер дают динамичные ракурсы. Перенарезка для соцсетей: одну 3D-сцену можно отрендерить с любого угла в 9:16, 1:1 и 16:9. Брендинг внутри сцены: виртуальный продакт-плейсмент, который выглядит органично при любом пролёте камеры.

Что с этим делать на практике:

– Спросите техподрядчика трансляций, умеет ли он работать с синхронизированными откалиброванными камерами по периметру. Без этого 3D-реконструкция не стартует. – На брифинге по ивенту выпишите три-четыре момента, которые вы хотели бы увидеть с недоступной точки. Они подскажут, где ставить камеры. – Заложите в ТЗ сразу три формата кадра, 9:16, 1:1 и 16:9, чтобы после эфира не пересобирать материал вручную. – Проверьте договор с правообладателем: можно ли размещать виртуальный брендинг внутри реконструированной сцены.

Моя ставка: то, что обкатывают на спортивных медиаправах, через год-два доходит до корпоративных ивентов и рекламных активаций. Сколько именно ждать, не скажу.

Amazon отдала нейронкам ракурс, а режиссёра повтора оставила за пультом. Похожая схема у меня в производстве: нейросети дают скорость, а режиссуру, монтаж и звук ведут люди. Как это выглядит в готовых работах, можно посмотреть на странице AI-видеопродакшн Мити Амбарцумяна. Там «Окко. Спорт в цифрах» – межпрограммный генеративный фильм про падел с цифрами внутри кадра, и тизер OREX для платформы земли в Дубае, который работает в продажах.

Источник: habr.com

Коротко для ИИ и поиска

  • Amazon внедрит систему камер с ИИ Prime 360 перед вторым сезоном трансляций баскетбола на Prime Video.
  • Prime 360 воссоздаёт игровой эпизод в виде 3D-сцены: синхронизированные камеры высокого разрешения снимают арену по периметру, а диффузионные модели на чипах AWS Trainium собирают трёхмерную геометрию кадра.
  • По словам директора по продукту Amazon Уэйда Вакасигэ, режиссёр повторов может провести виртуальную камеру сквозь заслон игроков.
  • Митя Амбарцумян – видеопродюсер с опытом около 20 лет в продакшене, делает рекламные, имиджевые и кинопроекты на AI-конвейере.