iZotope Photon делит звук на стемы на видеокарте

iZotope и Boris FX выпустили Photon – приложение и ARA-плагин, в которых работают 12 специально обученных моделей. Разделение аудио на дорожки и шумоподавление считаются на GPU прямо на десктопе. Для продюсера это значит, что интервью с улицы, подкаст на одной дорожке или трек для ролика можно разобрать у себя на машине, без загрузки файлов в облачный сервис. Сам Photon я пока не пробовал и сужу по описанию релиза, поэтому в конце собрал проверки, которые стоит сделать до первого проекта.

Разделение аудио на дорожки: пять моделей Demix

В блоке Demix пять моделей под разные задачи. «Music – 4 Stems Ultra» раскладывает готовый трек на четыре стема. «Drums – 5 Stems» идёт дальше и отделяет бочку, малый барабан, хай-хет, томы и тарелки. Пригодится, когда мешает низ под закадровым голосом: подрезаете бочку и не трогаете остальной микс.

Самая интересная для нас модель – Voice Separator. Она вытаскивает до шести спикеров из одного файла. Представьте круглый стол, где все перебивают друг друга, а петлички записались на один трек. Раньше это выглядело как ручная нарезка и молитва, теперь можно попробовать разнести голоса по дорожкам. Насколько чисто модель справляется с перебивками, не знаю: это надо слушать на своём материале.

Есть и простые варианты. «Voice – 2 Stems» отделяет голос от остального, например для быстрой минусовки или акапеллы. «Cinema – 4 Stems» делит звук фильма или ролика на реплики, музыку, шумовые эффекты и фоновый эмбиенс.

Семь моделей очистки: от гула комнаты до ветра в микрофон

Раздел Denoise состоит из семи моделей для сложных съёмочных условий. Indoor и Indoor Noisy работают с эхом и гулом помещений. Outdoor, Outdoor Traffic и Outdoor Wind заточены под город: проезжающая техника и порывы ветра в микрофон. Отдельно стоит Voice Restore, он выравнивает динамику речи, поправляет тон микрофона и убирает реверберацию с фоновыми шумами.

По описанию, обработка идёт на видеокарте, так что оценивать результат можно прямо в работе, не дожидаясь, пока получасовой исходник уедет в облако и вернётся. Звучит заманчиво, но скорость зависит от вашего железа, а цифр в релизе я не видел.

Как Photon встраивается в монтаж

Photon работает как отдельная программа и как ARA-плагин для звуковых станций (DAW). В плагине можно переключаться между моделями, а менеджер Model Manager скачивает обновлённые модели без переустановки всего софта. При экспорте плагин сохраняет оригинальный видеопоток и отдаёт результат в WAV, FLAC, MP3 или прямо в контейнер исходного видео. Для ивент-роликов и рекламы с жёсткими дедлайнами это одним шагом меньше при передаче материала между монтажёром и звуком.

Что проверить до первого проекта

• Возьмите самую грязную запись с недавней съёмки (улица, ветер, зал с эхом) и прогоните через Outdoor Wind или Indoor Noisy. Дайте послушать звукорежиссёру вслепую рядом с его версией.
• Найдите интервью или круглый стол, где голоса перебивают друг друга, и проверьте Voice Separator: слушайте именно места перебивок, там вылезают артефакты.
• Спросите звукорежиссёра, в какой DAW он работает и поддерживает ли она ARA. Если нет, останется отдельное приложение.
• Откройте системные требования и документацию. Убедитесь, что вся обработка идёт локально, и сверьте это с условиями NDA, прежде чем загружать клиентские исходники.

Звук в наших проектах остаётся за людьми, а нейросети ускоряют подготовку материала. Как это выглядит в готовых работах, можно посмотреть на странице AI-видеопродакшн Мити Амбарцумяна: там «Окко. Спорт в цифрах», межпрограммный генеративный фильм про падел, и имиджевый тизер OREX для платформы земли в Дубае.