Kandinsky Avatar от Сбера: ролик до минуты из фото и голоса

«Сбер» выложил в открытый доступ семейство моделей Kandinsky Avatar 1.0. Создание видеоаватаров по одной фотографии и записи голоса теперь можно встроить в свой пайплайн без поминутной оплаты облачным сервисам. Ролик получается длиной до минуты, код и веса лежат на GitHub, GitVerse и Hugging Face под лицензией MIT, а она разрешает коммерческое использование.

Что умеет модель: фото, голос и пара строк описания

На входе три вещи: статичная картинка, аудиозапись с голосом и короткое текстовое описание сцены. На выходе ролик до минуты, 24 кадра в секунду. Для рекламного креатива, ивент-активации или сторис этого хватает с запасом.

Оживлять можно не только людей на фотографиях. Модель анимирует животных и рисованных мультяшных персонажей. Губы она синхронизирует с речью сама и добавляет мимику, повороты головы и жесты. Эмоцию (радость, грусть, злость) задаёте текстом, и анимация подстраивается под аудио. Для режиссуры это удобная штука: настроение персонажа правится словами, а не новой съёмкой.

Голос модель не синтезирует и не клонирует, она берёт ваш готовый файл. Чужой голос она за вас не подставит, зато и ответственность за права на запись остаётся на вашей стороне. Об этом ниже.

Запускать можно локально или на своих серверах через ComfyUI и Diffusers. Обычно такие инструменты живут в облачных API зарубежных сервисов с поминутной оплатой, так что возможность держать всё у себя меняет расклад.

Три сценария для агентств и ивентов

Первый – стенд на мероприятии. Гость делает селфи, наговаривает фразу в микрофон и получает ролик, где он сам или стилизованный персонаж произносит этот текст с эмоцией. Сколько времени займёт генерация на вашем железе, я не знаю, источник цифр не даёт. Это нужно замерить до того, как вы пообещаете клиенту очередь без ожидания.

Второй – контент для брендов. Персонализированные поздравления, рассылки, обучающие ролики с виртуальным лектором. Раньше на такое уходил классический продакшен с долгой анимацией, теперь ролики можно собирать автоматически.

Третий – живой черновик для питча. Показать клиенту, как персонаж будет двигаться и говорить в будущей кампании, лучше на движущейся картинке, чем на раскадровке.

Что проверить и посчитать до старта

Открытая лицензия значит, что за каждый сгенерированный ролик вы не платите стороннему сервису. Основная статья расходов смещается в аренду серверов с видеокартами плюс время технаря на настройку. Выгодно это или нет, зависит от вашего объёма, и считать надо на своих цифрах. Я бы начал с четырёх шагов:

• Попросите технаря поднять модель через ComfyUI или Diffusers и прогнать три типа исходников: живое фото, животное или маскот, рисованного персонажа. Качество на лицах ваших клиентов в источнике не проверено, так что смотрите сами.
• Замерьте время генерации минутного ролика на вашей видеокарте и только потом обещайте сроки.
• Проверьте права: у вас должно быть согласие человека на использование его фото и записи голоса, раз файл приносите вы.
• Сравните две сметы для вашего типичного проекта: аренда серверов с видеокартами и подписка на облачный сервис с поминутной оплатой.

Модель даёт говорящую голову, а сценарий, свет, монтаж и звук всё равно собирают люди. Как выглядит AI-видео с режиссурой и монтажом, можно посмотреть на странице AI-видеопродакшн Мити Амбарцумяна: там, например, генеративный фильм про падел для Окко с цифрами внутри кадра и имиджевый тизер OREX для платформы земли в Дубае.