AI-режиссёр: как удержать камеру и свет в нейрокино

Хаотичность результата – главная беда нейрокино, когда собираешь сложную сцену. AI-режиссёр её закрывает: вместо перебора сидов он задаёт траекторию камеры, фиксирует схему света и держит мизансцену от кадра к кадру.

В коммерческом продакшене каждый кадр работает на общую историю. Поэтому в пайплайн добавляют сервисы, которые берут часть работы технического режиссёра и оператора-постановщика. Ниже разбор четырёх: Runway Gen-3 Alpha, Luma Dream Machine, Stable Diffusion с ControlNet и Kling AI.

Runway и Luma: как AI-режиссёр управляет камерой и переходами

В Runway Gen-3 Alpha за камеру отвечает функция Advanced Camera Control. Она двигает кадр по осям: панорама (Pan), наклон (Tilt), зум (Zoom) и вращение (Roll). Скорость каждого движения настраивается отдельно, так что оператор-постановщик получает привычный набор рычагов.

Текстовые подсказки здесь сочетают с настройками интерфейса. Хотите имитацию операторского крана – берёте подъём вверх (Tilt Up) и добавляете лёгкий наезд (Zoom In). Так задние планы плывут меньше, а именно они портят генерации. Свет в промпте прописывают прямо: «cinematic lighting, volumetric shafts of light, golden hour» (кинематографичный свет, объёмные лучи, золотой час).

Luma Dream Machine держит мизансцену через Keyframing. Вы загружаете начальный и финальный кадры, а нейросеть достраивает движение между ними. Монтажные переходы получается планировать ещё на раскадровке, и это очень удобная штука. Для лица героя и его окружения нужна связка из хорошего референса и текстового описания. Отдельный разбор про лицо героя – в статье как написать сценарий AI-сериала, чтобы герой не менял лицо.

Динамикой сцены в Luma управляют словами. Для плавной проводки пишут «slow camera pan» (медленное панорамирование), для экшена – «dynamic handheld camera shake» (динамичное дрожание ручной камеры).

Stable Diffusion с ControlNet: свет и поза до того, как кадр оживёт

Видеогенераторы вроде Runway дают динамику. Stable Diffusion, особенно в связке с ControlNet и IP-Adapter, готовит исходные кадры для img2video. На этом фундаменте AI-режиссёр и строит работу в сложных проектах.

ControlNet решает три задачи:

1. Поза (OpenPose): персонаж встаёт точно по раскадровке.
2. Геометрия (Depth и Lineart): архитектура кадра и расположение предметов остаются на месте.
3. Свет: карты глубин и маски направляют виртуальный софтбокс или прожектор в нужную точку кадра.

Как такой кадр потом оживляют, разобрано в материале как снять фильм нейросетью: пайплайн из 5 ИИ-сервисов. Порядок простой: сначала в Stable Diffusion собирают статичный кадр с нужным светом и композицией, затем отдают его видеогенератору.

Kling и сравнение четырёх сервисов

Kling AI – китайский сервис, который показывает высокую стабильность на сложных физических взаимодействиях. Его берут для сцен, где персонаж работает с предметами или камера идёт по непростой траектории. Camera Control в Kling задаёт направление движения ползунками, а главная фишка сервиса – удержание фокуса на объекте. При сильном панорамировании или зуме объект в центре кадра сохраняет текстуры и детализацию. Для драматических сцен это важно. Как развиваются такие форматы, видно в материале первая в России ИИ-микродрама. Что делать продюсеру.

Сводка по четырём сервисам. Оценки качественные, замеров на одном сценарии за ними нет.

• Runway Gen-3: контроль камеры высокий (Advanced Camera Control), удержание света среднее (через промпт), сохранение мизансцены среднее.
• Luma Dream Machine: контроль камеры высокий (через ключевые кадры), удержание света высокое (между кадрами), сохранение мизансцены высокое.
• Stable Diffusion: контроль камеры низкий (нужны сторонние расширения), удержание света очень высокое (ControlNet), сохранение мизансцены очень высокое.
• Kling AI: контроль камеры высокий (инструмент Camera Control), удержание света среднее, сохранение мизансцены высокое.

Структура расходов у них разная. Runway, Luma и Kling живут на платных месячных подписках, а у Luma и Kling есть ещё бесплатные лимиты, на которых удобно пробовать. Stable Diffusion бесплатен, это open-source, но платить приходится железом: нужна мощная видеокарта. Актуальные тарифы смотрите на сайтах сервисов, они меняются.

Что сделать до старта генерации

Нейросети берут на себя графику, фоны и текстуры, а режиссуру, монтаж и звук держат люди. Для продакшена это скорость и бюджет без потери управляемости. Как продюсер, я бы начал с четырёх шагов:

1. Нарисуйте раскадровку и для каждого плана одной строкой выпишите движение камеры (Pan, Tilt, Zoom, Roll) и тип света.
2. Опорные кадры с нужной позой и светом соберите в Stable Diffusion с ControlNet и только потом отдавайте видеогенератору.
3. Для переходов между планами подготовьте пары начального и финального кадров под Keyframing в Luma.
4. Попросите у подрядчика раскадровку и промпты до старта, а в смету заложите подписки на сервисы и видеокарту для Stable Diffusion.

Когда раскадровка, свет и мизансцена упираются в реальный бюджет и срок, полезно посмотреть готовые работы: исторический мини-фильм «Ушаков», социальный «Курьер» и промо «Арктические узоры» собраны в разделе фильмы и мини-сериалы на нейросетях.