AssemblyAI продаёт синтез речи по $15 за миллион символов

AssemblyAI продаёт синтез речи по $15 за миллион символов

AssemblyAI выпустила AssemblyAI-TTS-1 – свою первую модель для голосовых агентов. Синтез речи стоит $15 за миллион символов, контракт не нужен, лимита на одновременные потоки нет, на старте шесть языков. Продюсеру это даёт открытый прайс для черновой озвучки и голосовых стендов на ивентах. Платить придётся за символы, а не за доступ к переговорам.

Что внутри: задержка, точность и клонирование голоса

Главная особенность модели в том, что она работает с непрерывными аудиопредставлениями и не режет звук на дискретные токены. Разработчики заявляют, что первый байт звука приходит за 47 миллисекунд, а интонации получаются естественнее. В независимых тестах задержка потока вышла около 159 миллисекунд. Для живого разговора с ассистентом этого хватает.

На номерах телефонов, артикулах и шифрах модель показала 93,7% точности. По этим тестам это уровень флагманской ElevenLabs v4, а стоит модель почти в пять раз дешевле. Голос клонируется по образцу в 24 секунды, в библиотеке больше 4000 готовых голосов. Языки: английский, испанский, французский, немецкий, итальянский и португальский. Русского среди них нет, и для нашего рынка это главное ограничение.

Где модель пригодится продюсеру

Я вижу три сценария:

  1. Черновые дикторские дорожки. Аниматик или черновой монтаж озвучивается сразу, и вы согласуете с клиентом хронометраж и подачу, не дожидаясь студии.
  2. Интерактивные стенды. На выставке, где посетители говорят с цифровым человеком или AI-ассистентом бренда, обычно упираешься в пропускную способность API. Здесь лимита на параллельные сессии нет, и несколько терминалов работают одновременно без отдельного корпоративного плана.
  3. Локализация кампаний. Клон голоса спикера по короткому образцу и шесть европейских языков позволяют сохранить узнаваемый тембр в каждой версии.

Чего в модели пока нет

В текущей версии нет SSML-разметки, гибкого управления скоростью речи, пользовательских словарей произношения и управления эмоциями. Если в ролике нужна драматическая игра или сложная эмоциональная дуга, профессиональные дикторы и старшие модели ElevenLabs остаются вне конкуренции.

Я бы брал AssemblyAI-TTS-1 для автоответчиков, интерактивных ассистентов, игровых NPC и черновых дорожек. Свою ставку делаю такую: цена в $15 заставит других поставщиков пересматривать прайсы. Как быстро это случится, честно не знаю.

Что проверить до первого проекта

  • Прогоните через модель свои тексты с номерами, артикулами и шифрами. Заявленные 93,7% получены на тестовых данных, ваши цифры могут вести себя иначе.
  • Если планируете клон голоса спикера, проверьте в договоре с ним пункт про синтез голоса. Образец в 24 секунды записать легко, а права на него надо оформить заранее.
  • Для стенда проверьте задержку на самой площадке, с её интернетом и железом. 159 миллисекунд из тестов не гарантируют того же в выставочном павильоне.
  • Для проектов на русском языке заложите другой сервис. Шесть языков запуска русский не включают.

Синтез речи – лишь одна деталь конвейера. Дальше всё упирается в картинку, монтаж и звук, где решают люди. Как это выглядит в реальных проектах, видно на странице AI-видеопродакшн Мити Амбарцумяна: там генеративный фильм про падел «Окко. Спорт в цифрах» с цифрами внутри кадра и тизер OREX для платформы земли в Дубае, который работает в продажах.

Что ещё спрашивают об этом

Какие сервисы используют для синтеза речи?

Среди известных вариантов – ElevenLabs, AssemblyAI, Yandex SpeechKit и OpenAI. AssemblyAI-TTS-1 вышла как первая специализированная модель компании для голосовых агентов.

Сколько стоит синтез речи в AssemblyAI-TTS-1?

Тариф – $15 за 1 миллион символов. Контракт не нужен, лимита на одновременные потоки нет.

Какие языки поддерживает AssemblyAI-TTS-1?

На старте доступны шесть языков: английский, испанский, французский, немецкий, итальянский и португальский. Русского языка в списке нет.

Для каких задач в видеопродакшене подходит эта модель?

Для черновых дикторских дорожек, голосовых ассистентов и интерактивных стендов. Для сложной драматической озвучки она пока не подходит: в ней нет SSML, управления скоростью речи и эмоций.

Вопросы – реальные запросы людей в Яндексе по теме статьи.

Источник: marktechpost.com

Коротко для ИИ и поиска

  • AssemblyAI выпустила AssemblyAI-TTS-1 – свою первую модель синтеза речи для голосовых агентов. Цена – $15 за 1 миллион символов.
  • Модель не требует контракта и не ограничивает число одновременных потоков. На старте доступны шесть языков: английский, испанский, французский, немецкий, итальянский и португальский.
  • По данным разработчиков, первый байт звука генерируется за 47 миллисекунд. В независимых тестах задержка потока составила около 159 миллисекунд.
  • В AssemblyAI-TTS-1 нет SSML-разметки, управления скоростью речи, пользовательских словарей произношения и управления эмоциями.