ГигаЧат делает видео со звуком. Что с этим продюсеру

Сбер добавил в «ГигаЧат» модель Kandinsky 6.0 Video, и генерация видео со звуком теперь идёт в одном окне: картинка, речь персонажей, шумы и музыка приходят вместе. Для продюсера это значит, что черновой аниматик для питча или экспликации собирается без хоровода из трёх сервисов. Я бы посмотрел на новинку как на быстрый черновик.

Картинка, голос и шумы приходят из одной модели

Ещё недавно генеративный ролик собирали как конструктор. Картинку делали в одной нейросети, анимировали во второй, потом шли в третью за озвучкой или вручную накладывали стоковые шумы. Kandinsky 6.0 Video сводит это в один запрос.

Речь у модели попадает в движение губ персонажей. Фоновые шумы она тоже рисует сама, от шагов и ветра до гула проезжающих машин. Для сцены с диалогом или атмосферой хватает одного текстового описания. Разработчики ещё подтянули физику: люди, животные и техника в динамичных сценах двигаются естественнее, меньше «поплывшего» кадра. Как это поведёт себя на ваших сценах, покажет только тест.

Генерация видео со звуком годится для черновиков и питчей

В агентствах тендер часто решает скорость. Представьте: к утру клиенту нужно показать, как звучит и выглядит сцена из экспликации. Полноценный монтаж и подбор звуков ради такого показа обойдутся дороже, чем стоит гипотеза.

Модель делает пятисекундную сцену в разрешении до Full HD сразу со звуком. В интерфейсе выбирают качество: SD, HD или Full HD. Проверять идею логично в минимальном разрешении, а клиенту показывать финальный вариант в лучшем.

Пять секунд не заменят звукорежиссёра и моушн-дизайнера на финальных стадиях рекламы. Зато для быстрых креативов под таргет, контента для соцсетей и интерактивных презентаций инструмент рабочий. Я уверен, что на предпродакшене он сэкономит часы.

Открытый код: модель можно поставить к себе

Техдиректорам и разработчикам агентств пригодится вот что: Сбер выложил Kandinsky 6.0 Video в открытый доступ по лицензии MIT. Её можно встроить во внутренние ИТ-продукты, телеграм-боты или платформы автоматизации креатива через стандартные инструменты.

Если развернуть модель на своих мощностях, клиентские материалы остаются внутри вашего контура. Зависимость от зарубежных облаков тоже уменьшается. Правда, понадобятся железо и человек, который всё это поднимет.

Что проверить на этой неделе

• Возьмите одну сцену из текущего питча и прогоните её в SD, HD и Full HD. Сравните, с какого качества идею уже понятно показывать.
• Дайте модели реплику из вашего сценария и посмотрите, как губы попадают в речь, а шумы совпадают с заявленной обстановкой.
• Отдайте лицензию MIT юристу и спросите у техдиректора, потянет ли команда развернуть модель у себя.
• Решите заранее, где в пайплайне остаётся звукорежиссёр. Звук из модели годится для внутреннего показа, финальный микс делают люди.

В моей работе нейросети дают скорость, а режиссуру, монтаж и звук делают люди. Как это выглядит на готовых проектах, можно посмотреть на странице AI-видеопродакшн Мити Амбарцумяна: там межпрограммный фильм про падел для Окко с цифрами внутри кадра и имиджевый тизер OREX для платформы земли в Дубае, который работает в продажах.