В Adobe Firefly появился звук: музыка, голос и шумы

Нейросеть Adobe Firefly получила аудио: Generate Music, Generate Speech и Generate Sound Effects теперь работают в том же процессе, что генерация картинок и видео. Для продюсера это значит, что черновой трек, голос диктора и шумы можно собрать там же, где делается картинка, без отдельного круга по стокам.

Что нейросеть Adobe Firefly умеет со звуком

Инструментов три. Generate Music делает оригинальные треки. Можно задать темп, атмосферу и стиль, а можно загрузить готовое видео, и алгоритм сам предложит текстовое описание музыки. Знакомая история: монтаж закончен, а стоковый трек приходится резать и склеивать под тайминг. Здесь трек с самого начала собирают под ролик.

Generate Speech превращает сценарий в озвучку, и у неё настраиваются темп речи и эмоции диктора. Я бы использовал её для черновика: услышать, как текст ложится на видеоряд, ещё до того, как вы позвали актёра.

Generate Sound Effects делает шумы под действия в кадре. Звук можно описать текстом или наговорить в микрофон, и система выдаст файл нужной длины. Шелест листвы или проезжающую машину искать на стоке уже не обязательно.

К звуку Adobe добавила ещё два инструмента: Create Storyboard для раскадровок и Create Brand Kit для бренд-китов. Выходит цепочка в одном месте: идея, раскадровка, видео, голос, музыка. Честно, как всё это звучит и выглядит на реальном ролике, судить по описанию не берусь, нужно пробовать.

Музыка с заявленной коммерческой чистотой

Главный вопрос про ИИ в рекламе – права. Adobe позиционирует музыку Firefly как очищенную для коммерческого использования: модели обучены на лицензионном контенте и материалах из общественного достояния.

Представьте сценку. Клиент: «Хочу вот этот трек». Агентство: «Права на него не выкупить». Раньше после такого разговора начинались поиски похожего на стоках. Теперь можно сгенерировать несколько альтернатив под тот же хронометраж и настроение. Заявление компании остаётся заявлением, поэтому условия лицензии я бы прочитал сам, а не поверил на слово.

Что сделать завтра

Смотрите сами, четыре шага без лишней церемонии:

• Возьмите ролик, который сейчас в работе, и сгенерируйте для него черновой трек в Generate Music. Положите рядом стоковый и сравните, какой ближе к настроению.
• Соберите мини-питч в одном проекте: раскадровка, черновой голос из Generate Speech, музыка. Покажите его заказчику до того, как потратите деньги на препродакшен.
• Перед коммерческим использованием прочитайте условия лицензии Adobe и приложите их к папке проекта. Спросите юриста клиента, устраивает ли его такая формулировка.
• Запишите в брифе, какой звук черновой, а какой чистовой. Диктора и композитора для финала никто не отменял, генерация закрывает ранние этапы.

Всё это упирается в живое производство: черновой звук хорош для питча, а в финале нужны режиссура, монтаж и звук, сделанные людьми. Как выглядит такой конвейер на практике, видно на странице AI-видеопродакшн Мити Амбарцумяна, например в проекте «Окко. Спорт в цифрах» – генеративном фильме про падел с цифрами внутри кадра.