Premiere раскладывает звук на голос, музыку и шум

Петличку писали в гулком зале, бум – в другой комнате, в сцену запекли музыку, которой там быть не должно, а фон меняется от кадра к кадру. Монтажёр разгребает такие диалоги задолго до финального сведения. В бете Premiere Pro Adobe добавила Enhance Audio. Это нейросеть для звука: она разбирает одну запись на голос, музыку, реверберацию и шумы и даёт ползунок на каждый слой прямо на таймлайне.

Нейросеть для звука на таймлайне: что она умеет

Инструмент делит аудио на независимые слои, стемы. Для каждого типа звука в панели есть свой ползунок. Можно убрать гул комнаты только с голоса, не трогая остальное, или приглушить музыку, которая попала в исходник при записи.

Отдельно отмечу Split to Clips. Одним кликом обработанный трек раскладывается на дорожки: чистый голос, музыка, шумы. Звукорежиссёру с такой раскладкой проще принять материал на финальное сведение. Правда, как это поведёт себя на длинном хронометраже с сотнями реплик, честно, не знаю. Бета есть бета.

Локально бесплатно, в облаке за кредиты

Аналитику разделения на слои Adobe держит на вашем компьютере. А для улучшения речи есть два варианта.

Первый – локальная модель Enhance Speech V1. Она бесплатная и работает без интернета, так что для чернового монтажа, где картинка меняется каждый день, её хватит.

Второй – облачная Enhance Speech V2 на мощностях Firefly. Качество выше, но она списывает генеративные кредиты из подписки Creative Cloud: минута обработки стоит 2 кредита.

Есть и приятная деталь для монтажёров. Если вы чуть подрезаете клип, ставите фейды или двигаете границы кадра, Premiere не пересчитывает обработку заново. Он анализирует звук с запасом в 5 секунд с каждой стороны, и пока вы укладываетесь в этот запас, задержек нет.

Что я бы сделал в проекте на этой неделе

На согласовании черновика клиент слушает плохой звук и перестаёт слышать идею. Чистый драфт снимает эту проблему: фраза «звук мы ещё почистим» больше не нужна. Финальное сведение дорогого ролика или кино алгоритму я бы не отдал, там нужен звукорежиссёр.

Вот что можно проверить сразу:

• возьмите самый неудобный исходник, где петличка писала в гулком зале, и прогоните через Enhance Audio в бете, пока он не лежит в боевом проекте;
• для черновых версий ставьте V1, а V2 включайте только на тех кусках, которые показываете клиенту, и заранее посчитайте кредиты: 2 за минуту;
• перед передачей звука разложите трек через Split to Clips и спросите звукорежиссёра, удобна ли ему такая раскладка;
• проверьте, что подрезки и фейды укладываются в запас в 5 секунд, иначе обработка запустится снова.

Если хотите разобраться, куда такие инструменты встраиваются в процесс вашей команды, посмотрите AI-консалтинг и обучение команд. Там описано, как я выстраиваю работу с нейронками в продакшене.