Fish Audio открыла веса Drama 3. Что с ней делать продюсеру

Fish Audio выложила Drama 3 – модель синтеза речи на 35 миллиардов параметров, из которых одновременно работают около 3 миллиардов (архитектура mixture-of-experts). Языков 83, веса открыты. Для продюсера тут важны две вещи: озвучка нейросетью принимает режиссёрские указания обычными словами, а саму модель можно поставить у себя.

Озвучка нейросетью, которой режиссируют обычными словами

По описанию источника, Drama 3 берёт указания простым языком. Вы пишете, как сказали бы живому актёру, и модель подстраивает подачу. Какой именно синтаксис ремарок она понимает и насколько точно слушается, я сам не проверял. Красивые демо видел каждый, а в рабочем ролике всё решает пятая переделка одной реплики.

Где я бы попробовал её первой, так это в черновом аудио. Скретч-трек для согласования хронометража с клиентом, пара вариантов темпа, разные эмоциональные акценты в одной сцене – всё это можно собрать до того, как вы бронируете студию и дикторов. Клиент слышит живую сцену, а не «представьте, что тут будет интонация». Финальный голос в рекламе я бы пока оставил за людьми. Честно, не знаю, как Drama 3 звучит на русском на длинной дистанции, поэтому проверяйте сами.

С языками история похожая. Их 83, и для локализации это удобно: черновые версии для международных рынков получаются быстро. Носитель языка должен послушать каждую версию до отправки клиенту.

Открытые веса и потолок по выручке

Модель вышла по community-лицензии с ограничением по выручке. Веса открыты, привязки к закрытому сервису нет, данные и сценарии остаются у вас. Но у лицензии есть потолок, и крупному продакшену или агентству придётся договариваться отдельно. Точный порог и условия читайте в тексте лицензии, я не буду пересказывать их по памяти.

О железе скажу осторожно. Активных параметров около 3 миллиардов, но модель на 35 миллиардов всё равно требует серьёзной видеокарты для локального запуска. Спросите у техдира, что есть в студии, до того как планировать тест.

Что сделать до первого теста

• Возьмите одну реплику из текущего ролика и сгенерируйте её в трёх режиссёрских формулировках. Сравните с тем, что записал диктор.
• Прогоните названия брендов, термины, промокоды и адреса сайтов и проверьте на слух отдельно. Синтез чаще всего ошибается именно там.
• Откройте лицензию, найдите потолок по выручке и сверьте с оборотом вашей компании. Заодно посмотрите, что сказано в договоре с клиентом про синтетический голос.
• Договоритесь с клиентом заранее: нейро-озвучка идёт как черновая, финал записывают люди. Отметьте это в смете отдельной строкой.

Все эти шаги упираются в сборку ролика целиком: звук, монтаж и режиссура остаются за людьми, а нейросети дают скорость. Как это выглядит на практике, можно посмотреть в AI-видеопродакшн Мити Амбарцумяна: там генеративный фильм про падел для Окко и имиджевый тизер OREX для платформы земли в Дубае.