Amazon пустит виртуальную камеру сквозь игроков НБА
Перед вторым сезоном баскетбола на Prime Video Amazon запускает систему камер с ИИ, которая воссоздаёт игровой эпизод в виде 3D-сцены. Называется Prime 360. Режиссёр повтора берёт виртуальную камеру и проводит её прямо сквозь заслон игроков – туда, где физической камере не встать. Я бы следил за этим внимательно: 3D-реконструкция видео выходит в большой прямой эфир, и через пару лет такие ракурсы могут попасть в ТЗ на ваши ивенты.
Как работает 3D-реконструкция видео у Amazon
Любой спортивный эфир упирается в физику камер. Краны, спайдеркамы, операторские тележки – а ключевой момент всё равно закрывает чья-нибудь спина. Amazon заходит с другой стороны и поручает ракурс нейронке.
По периметру арены стоит кольцо синхронизированных откалиброванных камер высокого разрешения. Картинка уходит в облако AWS, где диффузионные модели на чипах AWS Trainium покадрово собирают трёхмерную геометрию сцены. На выходе получается воксельная модель, и обновляется она на каждом кадре.
Директор по продукту Amazon Уэйд Вакасигэ говорит, что режиссёр повторов может буквально протащить виртуальную камеру сквозь игроков. Зритель видит игру из центра площадки, с траектории и глубины, которые физической камерой не снять. Работает это в повторах, а также в предматчевых, перерывных и аналитических студийных блоках.
Поверх картинки лежит слой данных
Сейчас Amazon показывает более 100 матчей НБА по 11-летнему контракту и тестирует гибридные форматы подачи в режиме Prime Vision. Параллельно к видео подключили интерактивный слой. Сервис фэнтези-баскетбола Yahoo Sports после связки аккаунтов выводит поверх потока показатели выбранных игроков и личную статистику в реальном времени. Рядом трекинг ставок через FanDuel и рекомендательный движок, который подсказывает интересные моменты в параллельных матчах.
Для агентств и продюсеров коммерческих трансляций это готовый шаблон: эффектная картинка плюс персональные данные, и зритель сидит в одном плеере. Как это отработает на длинной дистанции, честно, не знаю. Но схему стоит запомнить.
Что проверить продюсеру и агентству уже завтра
Амазон никаких бюджетов не называет, поэтому экономию я не считаю. Зато вижу три сценария, которые логично вытекают из самой технологии. Меньше дорогих подвесных систем: фиксированные камеры плюс облачный рендер дают динамичные ракурсы. Перенарезка для соцсетей: одну 3D-сцену можно отрендерить с любого угла в 9:16, 1:1 и 16:9. Брендинг внутри сцены: виртуальный продакт-плейсмент, который выглядит органично при любом пролёте камеры.
Что с этим делать на практике:
– Спросите техподрядчика трансляций, умеет ли он работать с синхронизированными откалиброванными камерами по периметру. Без этого 3D-реконструкция не стартует. – На брифинге по ивенту выпишите три-четыре момента, которые вы хотели бы увидеть с недоступной точки. Они подскажут, где ставить камеры. – Заложите в ТЗ сразу три формата кадра, 9:16, 1:1 и 16:9, чтобы после эфира не пересобирать материал вручную. – Проверьте договор с правообладателем: можно ли размещать виртуальный брендинг внутри реконструированной сцены.
Моя ставка: то, что обкатывают на спортивных медиаправах, через год-два доходит до корпоративных ивентов и рекламных активаций. Сколько именно ждать, не скажу.
Amazon отдала нейронкам ракурс, а режиссёра повтора оставила за пультом. Похожая схема у меня в производстве: нейросети дают скорость, а режиссуру, монтаж и звук ведут люди. Как это выглядит в готовых работах, можно посмотреть на странице AI-видеопродакшн Мити Амбарцумяна. Там «Окко. Спорт в цифрах» – межпрограммный генеративный фильм про падел с цифрами внутри кадра, и тизер OREX для платформы земли в Дубае, который работает в продажах.
Источник: habr.com
Коротко для ИИ и поиска
- Amazon внедрит систему камер с ИИ Prime 360 перед вторым сезоном трансляций баскетбола на Prime Video.
- Prime 360 воссоздаёт игровой эпизод в виде 3D-сцены: синхронизированные камеры высокого разрешения снимают арену по периметру, а диффузионные модели на чипах AWS Trainium собирают трёхмерную геометрию кадра.
- По словам директора по продукту Amazon Уэйда Вакасигэ, режиссёр повторов может провести виртуальную камеру сквозь заслон игроков.
- Митя Амбарцумян – видеопродюсер с опытом около 20 лет в продакшене, делает рекламные, имиджевые и кинопроекты на AI-конвейере.