Открытая модель клонирует голос на 23 языках и весит 0,6B

Edge0 выложила в открытый доступ Audio8-TTS-Realistic – модель на 0,6B параметров, которая делает клонирование голоса по короткому аудиопримеру и его текстовой расшифровке, без дообучения. Лицензия Apache 2.0, языков 23. Для продюсера это значит три вещи: дубляж без повторной записи диктора, правки текста без новой смены в студии и запуск на своих серверах. Ниже разберём, что внутри и что проверить до того, как закладывать такую модель в проект.

Как устроено клонирование голоса в Audio8-TTS-Realistic

Внутри две ветки. Медленная, на базе Qwen2.5 0.5B, обрабатывает текст и первый аудиокодбук со скоростью 21,5 кадра в секунду. Быстрая, четырёхслойная, параллельно предсказывает остальные 9 кодбуков. Так авторы добиваются низкой задержки и звука 44,1 кГц.

Главная фишка версии Realistic – третий этап обучения с оптимизацией через GRPO. Для него разработчики обучили «критика реализма» (realism critic) на результатах слепых тестов с живыми слушателями. Критик сравнивает синтез с человеческими записями и оценивает паузы, интонации и ритм. По заявлению Edge0, на стыках слов речь теперь звучит заметно меньше механически. Заявление красивое, но проверять его надо своими ушами и на своих голосах.

Маленькая модель обошла более крупные на тесте CV3

В модели 601 миллион параметров. На бенчмарке CV3 для 9 языков она показала уровень ошибок 4,86%. У VoxCPM2 на 2B параметров получилось 5,35%, у Qwen3-TTS на 1,7B – 7,73%. Вперёд выходят только тяжёлые системы уровня 4B.

Обратите внимание: тест охватывает 9 языков, а заявлено 23. Цифры по остальным языкам в материале релиза я не вижу, и русский в источнике тоже не назван. Так что первым делом его надо послушать самим.

Веса лежат под Apache 2.0, поэтому модель можно развернуть на своём сервере или рабочей станции. Нужна видеокарта с CUDA. Квантованная версия INT4 занимает около 1,2 ГБ оперативной памяти на Apple M2, то есть тянет её обычный мак.

Что проверить продюсеру и агентству

Сценарии понятны. Локализацию роликов на много языков можно собрать в одном конвейере. Региональные кампании получают много аудиоверсий при низких требованиях к железу. Закрытый контур внутри агентства снижает риск утечки материалов до релиза, потому что внешний сервис не нужен. Честно, не знаю, как модель держит длинный закадровый текст: в источнике об этом ни слова. Поэтому я начал бы с четырёх шагов:

– Проверьте в договоре с диктором или актёром, есть ли пункт про синтез и клонирование голоса. Лицензия на модель не даёт прав на сам голос. – Возьмите голос, на который права есть, и прогоните его на нужных вам языках. Русский обязательно. – Устройте слепое прослушивание: дайте редактору или клиенту клон и живую запись и спросите, где какая. Следите за паузами и стыками слов. – Узнайте у подрядчика, где крутится модель, есть ли у него GPU с CUDA и где лежит ваш материал до релиза.

Клонирование голоса – одна деталь конвейера. Дальше всё равно нужны режиссура, монтаж и звук, и их делают люди. Как это складывается в готовые ролики, видно на странице AI-видеопродакшн Мити Амбарцумяна: там генеративный фильм «Окко. Спорт в цифрах» про падел с цифрами внутри кадра и имиджевый тизер OREX для платформы земли в Дубае, который работает в продажах.