Nvidia открыла Nemotron для расшифровки, русский есть

Nvidia выложила модель Nemotron 3.5 Transcribe с открытыми весами. Она занимается распознаванием речи, переводит и анализирует аудиозаписи, понимает русский и принимает запись длиной до часа. Для продакшена тут важна одна деталь: открытые веса можно поставить на свой сервер, и записи клиентских встреч не уходят в чужое облако. Какое железо нужно для запуска, в новости не сказано, поэтому с этого вопроса я бы и начал.

Распознавание речи на часовых записях: что есть в релизе

Представьте типичный вечер после съёмки интервью: младший продюсер сидит в наушниках и набирает текст, ставит на паузу, перематывает, снова набирает. Час записи – это час, а то и больше, чистой механики. Фокус-группа, брейншторм с клиентом, длинная беседа с героем ролика устроены так же.

В Nemotron 3.5 Transcribe лимит как раз час на файл, так что большинство таких записей влезает целиком, без нарезки. Кроме текста, модель переводит и анализирует аудио, то есть из расшифровки можно сразу получить перевод или разбор. Вместе с моделью Nvidia выпустила набор данных для обучения и инструменты, которые подстраивают её под специализированные задачи.

Чего я в материале не нашёл: сравнительных замеров на русском и подробностей про разметку по голосам. Поэтому громких обещаний не будет. Модель надо проверить на ваших записях, там и увидите, насколько она справляется с русской речью, перебиваниями и шумом переговорки.

Открытые веса: клиентские записи остаются в студии

Большинство удобных сервисов расшифровки работают как облако по подписке. Вы грузите файл на чужой сервер, и если в записи черновая идея неопубликованной кампании или разговор с клиентом под NDA, это риск. У части брендов в договоре прямо прописаны ограничения на сторонние сервисы. Проверьте, как с этим у ваших клиентов.

Открытые веса меняют схему. Вы разворачиваете модель на рабочей станции или своём сервере, и аудио не покидает периметр студии. Для агентств с жёсткими NDA это самый простой способ ответить службе безопасности клиента «да, расшифровку мы делаем у себя».

Отдельная фишка – инструменты для адаптации. Обычные модели спотыкаются на профессиональном сленге, названиях продуктов и англицизмах из диджитала. Если дообучить модель на глоссарии и записях прошлых проектов, ошибок в узких терминах должно стать меньше. Насколько меньше, покажет только ваш тест, цифру из воздуха я брать не буду.

Что сделать до конца недели

Сам я бы пошёл по такому списку:

• Возьмите одну реальную запись с последнего проекта, лучше с перебивающими друг друга людьми и терминами клиента, и прогоните через модель. Сравните с тем, что набрали руками.
• Спросите технического специалиста студии, что нужно для локального запуска: какая видеокарта, сколько памяти, кто будет это поддерживать.
• Перечитайте договоры и NDA по двум самым строгим клиентам: что в них сказано про сторонние сервисы и облака.
• Соберите глоссарий: названия брендов, продуктов, внутренний сленг. Он пригодится, если решите дообучать модель.

Расшифровка – первый шаг цепочки, дальше из интервью и брифов растёт ролик. Как выглядит такой конвейер в деле, видно на странице AI-видеопродакшн Мити Амбарцумяна. Там есть межпрограммный фильм про падел для Окко, где цифры живут прямо в кадре, и имиджевый тизер OREX для платформы земли в Дубае, который работает в продажах.