Голос от Block работает на MacBook M4 Max без облака

Block показала голосовую модель, и TechCrunch пишет, что звучит она пугающе по-человечески. Для продюсера важнее другая деталь: по словам компании, модель работает локально на MacBook M4 Max. Нейросеть для озвучки, которой не нужен чужой сервер, меняет два места в процессе – разговор с юристами заказчика и скорость черновых версий. В источнике подробностей мало, поэтому дальше – мои выводы из этой одной фразы, и там, где я гадаю, я так и скажу.

Нейросеть для озвучки без облака и вопрос про NDA

Сценарий ролика для крупного бренда обычно лежит под NDA. Отправить текст в облачный сервис синтеза значит отправить его на чужой сервер, и юристы заказчика такое нередко запрещают. Если модель Block крутится на самом ноутбуке, текст остаётся на машине продюсера. Тизеры, закрытые презентации, питч-версии с черновым голосом – всё это проще согласовать, когда файл не выходит за пределы вашего компьютера.

Ноль согласований я при этом не обещаю. Лицензию модели я не видел и что она разрешает, не знаю. Что модель делает с данными и можно ли ставить её голос в коммерческий ролик, придётся выяснять отдельно.

Черновой голос на таймлайне и на выезде

Обычная запись диктора – это поиск актёра, студия, правки, и на всё уходит от нескольких часов до пары дней. Для аниматика столько ждать обидно. Облачные сервисы быстрее, но зависят от интернета и очереди запросов. Локальная модель привязана только к ноутбуку: поправили строчку, услышали, подогнали хронометраж. Так же можно работать на площадке, где связь пропадает.

Сколько секунд модель думает над минутой текста, в источнике не сказано, замеров я не видел. «Мгновенно» писать не буду.

Отдельная тема – ивенты. У цифрового аватара на стенде главная беда в паузе между вопросом посетителя и ответом: пока звук съездит в облако и вернётся, диалог остывает. Когда голос рождается на месте, один круг до сервера отпадает. Хватит ли скорости для живого разговора, честно, не знаю, это надо смотреть на демо. С деньгами похоже: у облачных сервисов оплата обычно идёт за объём, а у локальной модели счёта за каждую минуту нет, если лицензия не говорит иного.

Диктора в финале дорогой кампании я бы пока не менял. Актёрскую игру модель вряд ли заменит, а черновую работу заберёт охотно.

Что проверить на этой неделе

• Найдите условия лицензии на модель Block и проверьте, можно ли использовать результат в коммерческом ролике.
• Прогоните на ней свой реальный сценарий на русском. Языки в источнике не названы, так что заранее неизвестно, как она читает русский.
• Сначала попробуйте на самом мощном ноутбуке в команде. Заявлен MacBook M4 Max, а на более слабом железе результат никто не обещал.
• Откройте договор с клиентом и договор с диктором: есть ли пункт про синтез голоса и про черновые версии, которые уходят на согласование.

Где голос встаёт в конвейер

Голос – одна дорожка в большой сборке, и выигрыш от модели виден только тогда, когда режиссура, монтаж и звук стоят на месте. Как это выглядит в реальных проектах, можно посмотреть на странице AI-видеопродакшн Мити Амбарцумяна: там межпрограммный фильм про падел для Окко с цифрами внутри кадра и имиджевый тизер OREX для платформы земли в Дубае, который работает в продажах.