Почему нейросеть ломает физику и как писать ей промпты

Просите у нейросети чашку, которая падает со стола и разбивается. Получаете чашку, которая растекается лужей. Так устроена сама механика, и тут помогает понять, как нейросеть создает видео по текстовому описанию. Она берёт шум, то есть набор случайных пикселей, и шаг за шагом его убирает, а текстовые векторы подсказывают, что должно проявиться. Это называется диффузией. Kling, Runway Gen-3 и Wan 3.0 строятся на архитектуре Diffusion Transformer (DiT): она режет видео на пространственно-временные патчи и связывает каждый с соседями по кадру, с предыдущими и со следующими моментами.

Для продюсера отсюда следует простая вещь. Модель не вынимает готовые кусочки из базы, она считает наиболее вероятное движение пикселей. Если понимать эту кухню, результат проще предсказать, препродакшн проще спланировать, и вы не требуете от алгоритма того, что он физически не умеет.

Почему нейросеть «плывёт» и нарушает гравитацию

Главная беда генеративного видео – пространственно-временная консистентность (temporal consistency). У нейросети нет понятия «скелет», нет понятия «фарфор». Она просто считает, какой пиксель какого цвета вероятнее всего появится в этой точке экрана. Когда связь между кадрами слабеет, картинка начинает дрейфовать. Вот что вы увидите чаще всего:

• Морфинг объектов. Персонаж плавно превращается в другого человека или сливается с фоном, потому что модель потеряла внимание (attention) на границах объекта.
• Лишние детали. Шесть пальцев или третья нога появляются, когда сеть заполняет пустое место в кадре анатомически похожими элементами и не видит структуру тела целиком.
• Нарушенная гравитация. Предметы летают, проходят друг сквозь друга, растворяются.

Поэтому я бы не строил профессиональный пайплайн на одной текстовой генерации. Рабочая схема такая: сначала делаем точный статичный кадр-референс (Image-to-Video), потом оживляем его через настройки движения (motion brush) и аккуратное описание физики кадра. Как это выглядит на практике, я разбирал отдельно: одной подписки на Kling мало, чтобы сдать ролик клиенту.

Как нейросеть создает видео по текстовому описанию: промпт на языке кинокамеры

Запрос в духе «красивый эпичный ролик про автомобиль в пустыне» – прямая дорога к сливу бюджета. Модели лучше реагируют на язык кинопроизводства: крупность плана, оптику, схему света, траекторию камеры. У них там больше опоры, чем у слов «красиво» и «эпично». В промпте нужны четыре блока:

1. Субъект и действие. Кто в кадре и что с ним происходит: «мужчина в деловом костюме идёт по ночной улице под дождём».
2. Камера и оптика. Крупность, фокусное расстояние, движение: «крупный план, 85mm lens, shallow depth of field, slow dolly zoom».
3. Свет и атмосфера. Тип освещения и цветовая гамма: «Rembrandt lighting, cinematic neon glow, volumetric fog, high contrast».
4. Стиль и качество. Фотореализм или конкретная стилистика: «photorealistic, IMAX 70mm, 8k resolution, color graded».

Когда промпт написан голосом оператора-постановщика, модель точнее раскладывает внимание между объектами. Напишите «low-angle shot» (съёмка с нижней точки), и перспектива перестроится: объект станет выше и монументальнее.

Где нейросеть, а где нужны люди

Нейросети дают скорость и экономят бюджет на черновых материалах: аниматики, быстрые концепты, мудборды, визуализация идеи до съёмок. Для простых SMM-креативов и тестов гипотез годятся готовые инструменты со встроенным звуком. Например, отечественная модель Kandinsky 6.0 Video выдаёт Full HD сразу со звуком, и динамику сцены можно оценить вместе с аудио прямо на питче.

Но финальный ролик из чистого Text-to-Video без ручной доработки, на мой взгляд, не сдашь. Разделение труда в AI-пайплайне выглядит так:

• Нейросеть генерирует сырые кадры по промптам и референсам, делает варианты текстур, анимирует статику.
• Продюсер и режиссёр выстраивают драматургию и отбирают лучшие дубли из массы генераций. Брака в AI-видео ещё много.
• Монтажёр собирает кадры в ритм, делает склейки, правит тайминг. Без него остаётся набор красивых, но несвязанных коротких фрагментов.
• Звукорежиссёр сводит шумы, музыку и голоса в финальную звуковую картину.

Именно так мы делали межпрограммный генеративный фильм «Окко. Спорт в цифрах» про падел: цифры и графика живут прямо внутри кадра. Другой пример – имиджевый тизер OREX для платформы земли в Дубае. Мы сделали его на свой риск, и сегодня он работает в продажах. В обоих проектах нейросети дали скорость, а режиссуру и сборку вели люди.

Что сделать завтра, чтобы не сливать генерации

1. Перепишите промпты без метафор и без «эпичности». Фразу «время утекает сквозь пальцы» модель поймёт буквально и нарисует воду из рук. Пишите физические действия. Темп задавайте прямо: «slow motion», «cinematic camera pan». Иначе спокойный кадр за секунду превратится в хаотичный экшен.
2. Если есть фото продукта, не описывайте его текстом с нуля. Загрузите картинку как исходник, а текстом задавайте только движение камеры и персонажей. Пример того, как это работает, есть в разборе, где фото банок WD-40 стали рекламой. Что делать продюсеру.
3. Один промпт – одно простое законченное действие. Запуск ракеты, взрыв вулкана и чаепитие в один короткий клип не влезут.
4. Перед стартом попросите у подрядчика раскадровку и промпты по каждому плану. Так вы увидите, на каком языке с моделью разговаривают, и до первой генерации поймёте, где она наверняка сломается.

Всё это упирается в живое производство: кто отбирает дубли, кто монтирует, кто сводит звук. Как это выглядит в готовых роликах, можно посмотреть на странице AI-видеопродакшн Мити Амбарцумяна: там есть и падел для Окко с цифрами внутри кадра, и тизер OREX.