Нейросеть для озвучки на 64,5 МБ работает без интернета

Gradium выложила в открытый доступ Phonon – семейство моделей для озвучки, которые работают прямо на устройстве. Английская Phonon 31m занимает 64,5 МБ, лежит под лицензией Apache 2.0 и начинает говорить примерно через 7 миллисекунд на процессоре ноутбука. Для продюсера это нейросеть для озвучки без облака и без счёта за каждый символ. На выставочном стенде, где Wi-Fi живёт своей жизнью, такая штука стоит внимания.

Что умеет нейросеть для озвучки на ноутбуке и Raspberry Pi

Сначала о том, где болит у облачного синтеза. Вы платите за каждый символ, гость у стенда ждёт ответа по несколько секунд, а если интернет на площадке просел, вся активация встаёт. Phonon грузится в память самого устройства: смартфона, ноутбука или Raspberry Pi 5. Звук он считает там же, на месте.

Теперь цифры. На MacBook Air M5 первая секунда аудио готова за 6,9 миллисекунды, а в целом модель работает почти в 30 раз быстрее реального времени. Популярный Kokoro на старте тратит больше полусекунды, потому что не умеет отдавать звук потоком. На Raspberry Pi 5 Phonon начинает говорить за 38 миллисекунд, Kokoro на той же плате думает около 7 секунд.

Есть и приятная мелочь для тех, кто озвучивает рекламу и справочные стенды. В модель встроена нормализация текста, поэтому она читает номера телефонов, почтовые адреса и сокращения. На сложных текстах ошибок у Phonon 31m 1,7% (метрика WER) против 3,5% у Kokoro. Цифры хорошие. Но голос оценивают ушами, и я бы сначала послушал его на своём тексте.

Где локальный голос пригодится и где упрёмся в язык

Сценариев вижу три.

• Интерактивная зона на мероприятии. Компьютер или микрокомпьютер прячется внутри арт-объекта, к нему подключены микрофон и динамик, и персонаж отвечает гостям без оглядки на сеть в павильоне.
• Черновая озвучка на монтаже. Временные голоса нужны, чтобы согласовать тайминги. Десятки вариантов на английском можно нагенерировать офлайн, без подписок.
• Персонажи в играх и бренд-активациях. Реплики, которые на лету пишет языковая модель, озвучиваются прямо на процессоре телефона.

Теперь про ограничения. Коммерческая версия сейчас одна: английская Phonon 31m на 31 миллион параметров под Apache 2.0. Есть Phonon 40m на пять языков (английский, французский, немецкий, испанский, португальский), но лицензия у неё CC BY-NC 4.0, то есть только некоммерческая. Русского в списке нет. Для проекта на русском аудитории Phonon пока не подойдёт, и надо искать другой вариант.

Голос можно клонировать или собрать новый тембр в веб-интерфейсе Gradium Studio, а потом выгрузить модель для локального запуска. Как это звучит на длинной дистанции и в живом шуме павильона, честно, не знаю. Проверять надо руками.

Что проверить до того, как ставить Phonon в проект

• Прогоните свой текст с телефонами, адресами и сокращениями на Phonon 31m и покажите запись клиенту до согласования концепции.
• Проверьте язык и лицензию. Коммерческая версия говорит только по-английски, а пятиязычная пока годится лишь для некоммерческих задач.
• Запустите модель на том железе, которое поедет на площадку, и отключите интернет. Заодно замерьте задержку на живом стенде, а не на ноутбуке в офисе.
• Если нужен клон голоса, найдите в договоре с актёром пункт про синтез голоса. Нет пункта – договаривайтесь до начала работы.

Моя ставка: локальные модели займут стенды и черновую озвучку раньше, чем финальный звук для рекламы. Голос – лишь одна деталь конвейера. Как выглядит весь процесс целиком, можно посмотреть на странице AI-видеопродакшн Мити Амбарцумяна. Там есть «Окко. Спорт в цифрах» – межпрограммный генеративный фильм про падел с цифрами внутри кадра, и тизер OREX для платформы земли в Дубае, который работает в продажах.