OmniHuman 2.0 оживляет фото по 0,07 доллара за секунду

BytePlus обновила OmniHuman 2.0 – модель, которая берёт фотографию и аудио и собирает из них реалистичное видео: речь, мимика и жесты совпадают. Создание видео по фотографии теперь упирается в два исходника: качественный кадр и записанный голос. Студия захвата движений и хромакей для такого героя не нужны. Пока я сужу по заявлениям разработчика, так что дальше – что обещано и на что я бы посмотрел внимательнее.

Мимика по смыслу фразы и камера по текстовой подсказке

Главная беда таких моделей – «резиновые» лица, эмоции живут отдельно от текста. По словам BytePlus, OmniHuman 2.0 учитывает смысл сказанного, интонации и ритм речи. Герой улыбается, хмурится или жестикулирует там, где это логично по тексту. Проверить это можно только на своём материале, поэтому я бы начал с тестовых прогонов.

Мне как продюсеру важнее управляемость. В новой версии есть текстовые подсказки: ими правят поведение героя, композицию кадра и даже движение виртуальной камеры. Получается что-то похожее на режиссуру. Вы ставите задачу, и дубль перестаёт быть лотереей.

Создание видео по фотографии для диалогов и групповых сцен

Ещё одна фишка – несколько персонажей в кадре. Если на фото стоят несколько человек, модель раздаёт им разные аудиодорожки, и выходит диалог или групповое выступление. Работает она и с обычными фотографиями, и с рисованными персонажами, и с животными.

Для агентств здесь сразу несколько сценариев: поздравление от команды бренда, «оживший» исторический персонаж на музейной выставке, стенд на конференции, где цифровые помощники болтают друг с другом и со зрителями.

Сколько это стоит и где подвох

BytePlus заявляет, что генерация подешевела на 40% по сравнению с первой версией и стоит 0,07 доллара за секунду готового видео. Если просто умножить, минута выходит примерно в 4,2 доллара. Длина ролика – от 30 секунд до пяти минут. Доступ идёт через платформу BytePlus и через API, поэтому модель можно подключить к автоматическим воронкам и активациям.

Для персональных обращений, где нужны сотни версий, цена звучит заманчиво. Но честно, не знаю, сколько попыток уйдёт на приемлемый результат, а итоговый счёт зависит от этого сильнее, чем от тарифа. Моя ставка: ведущие и персональные поздравления подешевеют первыми. Имиджевые ролики всё равно упрутся в сценарий, монтаж и звук.

Что сделать на этой неделе

• Выпишите ролики, которые у вас повторяются по шаблону: поздравления, обращения, ведущие. Это первые кандидаты на тест.
• Прогоните один портрет и одну групповую фотографию. Смотрите на губы, зубы и руки в крупном плане и на то, совпадает ли жест со смыслом фразы.
• Проверьте права. Нужно письменное согласие тех, чьё лицо на фото, а в договоре с актёром должен быть пункт про синтез голоса.
• Если работаете через подрядчика, просите тестовый ролик на вашем фото и текстовые подсказки, которыми его делали, до старта проекта.

Генерация героя – одна деталь ролика, а сюжет, монтаж и звук остаются работой людей. Как это выглядит в готовых проектах, можно посмотреть на странице AI-видеопродакшн Мити Амбарцумяна. Там есть, например, «Окко. Спорт в цифрах» – межпрограммный генеративный фильм про падел, где цифры живут прямо внутри кадра.