Fish Audio Drama 3 шепчет и срывается: что берут продюсеры

Синтез речи на локальных моделях давно читает лекции и инструкции ровно и разборчиво. Трудности начинаются в драматическом монологе, где голос должен пройти через тёплую ностальгию, глухой шёпот и эмоциональный срыв: компактные модели на 0,5B–1,7B параметров такие перепады сглаживают. В конце октября 2026 года вышла Fish Audio Drama 3 (35B-A3B MoE). Автор разбора на Хабре сравнил её с младшей S2 Pro (4B) на сложном монологе. Для продюсера вывод простой: драматическую озвучку для питча или аниматика можно собрать у себя на машине, без вызова актёра в студию.

Почему обычный синтез речи читает драму как документацию

Возьмите Qwen3-TTS 1.7B. Речь у неё чистая, без акцента. Но драматическую фразу она произносит с той же бодрой интонацией, что и техническую документацию.

Автор исходной статьи пытался исправить это вручную: двигал высоту голоса в фонетическом пакете Praat. Звучало неестественно, и причина понятна. Шёпот или голос со спазмом в горле меняют сам спектр звука: связки смыкаются иначе, появляется шум выдоха и воздух. Простая механическая подтяжка тона этого не воспроизводит. Референсы из аудиокниг тоже не спасают, потому что чтецы держат ровную подачу на длинной дистанции и избегают резких срывов громкости.

Как Drama 3 играет шёпот и вздох через мульти-референсы

Drama 3 построена иначе, чем лёгкие речевые движки. Внутри гибридный трансформер 35B-A3B MoE с 256 маршрутизируемыми экспертами, из них на каждый токен включаются 8. Ещё есть 13-блочная аудио-башня, которая держит контекст во времени, и кодек Fish S1 DAC, который выдаёт звук на 44,1 кГц.

Для практики важнее всего мульти-референсные шаблоны. Модели можно скормить набор сэмплов одного диктора в разных состояниях: спокойная речь, глухой шёпот, выдох. В тексте вы расставляете теги вроде [sighs] или ..., и нейросеть привязывает ремарку к нужному характеру звука. Вздохи, паузы и нарастание тона получаются на своих местах.

Если нужен тембр конкретного персонажа, подключают RVC v2. Drama 3 отвечает за ритмику, дыхание и эмоциональный рисунок, а RVC переносит готовую игру на финальный голос и сохраняет огибающую громкости и глухие согласные.

Три модели рядом и что это даёт студии

Смотрите сами, что получается по железу и задачам:

1. Fish Audio Drama 3 (4-bit) занимает 23,8 ГБ на диске и требует 28,8 ГБ оперативной памяти. Она точно выстраивает интонационные переходы, выдерживает эмоциональные паузы и держит смысловые ударения в сложных текстах.

2. Fish Audio S2 Pro (8-bit) весит 6,7 ГБ и потребляет 12,5 ГБ памяти. Шёпот она отрабатывает хорошо, но склонна пропускать вздохи, и ударения ей нужно размечать точнее.

3. Qwen3-TTS 1.7B занимает 4,6 ГБ на диске и генерирует звук втрое быстрее реального времени. Для ровных дикторских текстов и видеоинструкций этого хватает, до драмы она не дотягивает.

На питчах и аниматиках локальная модель позволяет быстро собрать озвучку с нужной драматургией, и актёр на этом этапе не нужен. Та же логика работает для цифровых аватаров, игр и интерактивных ивентов: реплики персонажей генерируются на месте, а лимита облачного тарифа над головой нет. Замеров скорости Drama 3 в материале нет, поэтому честно не знаю, как она поведёт себя на длинном хронометраже. Я бы проверил это до того, как обещать заказчику.

Что проверить до старта

• Возьмите самую эмоциональную сцену сценария и прогоните её через лёгкую модель. Если она читает драму тем же тоном, что документацию, вы упёрлись в тот самый потолок.
• Соберите референсы одного диктора: спокойная речь, шёпот, выдох. Без них теги в промпте работать не будут.
• Сверьтесь с железом: Drama 3 в 4-bit просит 28,8 ГБ памяти, S2 Pro обходится 12,5 ГБ.
• Расставьте теги [sighs] и в одной сцене, послушайте результат и только потом решайте, годится ли он для питча или нужен живой актёр на финал.

Если после таких проверок видно, что модели упираются в ваше реальное производство, будь то озвучка, пайплайн или обучение команды, посмотрите, как я это строю, на странице AI-консалтинг и обучение команд.