Видео из текста – лотерея. Я начинаю с картинки

Вы пишете в видеомодель «мужчина в деловом костюме на фоне современного офиса» и на каждой генерации получаете нового мужчину, другой офис и другую ткань костюма. Деньги уходят, а смонтировать из этого нечего. Поэтому в коммерческой работе я делю процесс на два этапа. Сначала утверждённый статичный кадр в Midjourney или Flux, потом image to video: оживление этого кадра в Runway, Kling или Luma.

Когда продюсер пишет задачу прямо в ai video generator, модель решает две задачи сразу: строит композицию и заставляет объекты двигаться. Лица плывут, физика ломается, детали бренда уезжают. Если кадр зафиксирован заранее, у видеомодели остаётся одна работа. Я загружаю картинку в video generator и настраиваю только движение. Герой в начале ролика выглядит так же, как в конце, ведь его внешность утверждена ещё на картинке.

Почему видео из текста сливает бюджет

Текстовый промпт не держит детали. Каждая генерация даёт свою архитектуру, свои оттенки и новые черты лица. Камеру и мимику в таком режиме не направить. Вы платите за генерации и получаете россыпь кадров, которые между собой не склеиваются.

Хуже всего приходится брендам со строгим брендбуком. Фирменный цвет уезжает, логотип превращается в нечитаемые символы, продукт меняет форму при малейшем движении камеры. Даже в маркетинговых платформах, где генерация видео ai собирает кампанию по ссылке на товар, результат зависит от исходных графических шаблонов. Пока их точно не настроили, ролик выходит за гайдлайны.

Вот как выглядит разница по четырём пунктам:

• Композиция. В text-to-video нейросеть сама расставляет объекты, в image-to-video композиция зафиксирована на этапе картинки.
• Лицо персонажа. В text-to-video оно меняется от кадра к кадру, в image-to-video черты и пропорции берутся из исходного кадра.
• Бренд. В text-to-video цвета и логотипы искажаются в движении, в image-to-video цвета и геометрия продукта приходят из референса.
• Согласование. В text-to-video клиент видит результат, когда деньги уже потрачены, в image-to-video он утверждает статичную раскадровку до анимации.

Пайплайн image to video: четыре шага от кадра до монтажа

Я иду по четырём шагам, и каждый ловит свой вид брака.

Шаг 1. Ключевые кадры. Видеомодель я пока не трогаю и запускаю Midjourney или Flux. Здесь я довожу фотореализм, глубину резкости, свет и положение объектов. Если в кадре стоит конкретный продукт, он появляется уже на этой стадии. Клиент получает детальную раскадровку в высоком разрешении и подписывает каждый кадр.

Шаг 2. Что двигается, что стоит. Перед Runway, Kling или Luma я решаю, какие зоны кадра оживут. В части сервисов есть Motion Brush, кисть движения. Стены, мебель и лицо героя я оставляю неподвижными, а волосы на ветру, пламя свечи или машину на фоне размечаю как зоны анимации. Тогда кадр не превращается в «желе», когда твёрдые предметы начинают гнуться.

Шаг 3. Камера. В текстовое поле я пишу короткий промпт только про динамику, без пересказа сюжета: «slow pan right, cinematic lighting, realistic physics». Зум, панорамирование, наклон и движение по осям беру из встроенных инструментов виртуальной камеры. Перегенерировать приходится и здесь, но правится одно движение, а весь кадр остаётся на месте.

Шаг 4. Монтаж людьми. Короткие фрагменты уходят на таймлайн монтажёру. Нейросети дают сырой материал, а ритм, склейки, цвет и звук делают люди.

Где это видно на проектах

В межпрограммном фильме «Окко. Спорт в цифрах» про падел цифры стоят прямо внутри кадра. Читаемость цифр я проверяю на статичной картинке, пока ничего не двинулось. Поэтому логика «сначала кадр, потом движение» подходит этому проекту лучше всего.

С имиджевым тизером OREX для платформы земли в Дубае история другая: я сделал его на свой риск, и сейчас он работает в продажах. Для премиальной архитектуры случайная геометрия фасадов убивает впечатление. Прямой текстовый промпт в таком кадре легко превращает здание в футуристическую кашу.

То же рассуждение применимо к историческому мини-фильму «Ушаков» и промо «Арктические узоры». Там, где важны костюмы эпохи или сложные орнаменты народов Севера, я бы тоже сначала фиксировал картинку.

Что сделать на следующем проекте

• Попросите у подрядчика утверждённые статичные кадры до старта анимации. Пусть клиент подпишет каждый.
• Проверьте на статике всё, что нельзя исказить: логотип, фирменный цвет, форму продукта, цифры и надписи.
• Попросите отдельный промпт движения. В нём только камера и динамика, а сюжет остаётся в раскадровке.
• Заложите в график и смету монтаж, цвет и звук с живыми людьми. Нейросеть в этой схеме поставляет сырые фрагменты.

Всё это упирается в реальное производство: кто утверждает кадры, кто монтирует, как удержать бренд. Как это выглядит на практике, можно посмотреть на странице AI-видеопродакшн Мити Амбарцумяна: там лежат и Окко про падел, и тизер OREX.