Как собрать видео для иммерсивного шоу на нейронках

Чтобы собрать иммерсивное шоу дешевле, часть классического 3D-пайплайна можно отдать нейросетям. Они генерируют 360-градусное видео по текстовому запросу, сами замазывают стыки панорам и дорисовывают картинку до 8K и 16K. Рендер-ферму на недели арендовать для этого не нужно.

Зритель в таком шоу сидит внутри медиасреды, и видео окружает его со всех сторон. Любой шов или пиксельная сетка сразу видны. Фоны, текстуры и фантастические миры нейронки делают быстро. Режиссуру, монтаж, динамику и звук держат люди, и я бы эту границу не двигал.

Как собирается 360-градусный контент

Для проекционных стен и куполов раньше сначала долго моделировали сцену в 3D. В ИИ-пайплайне всё начинается с эквидистантной развёртки, то есть плоской панорамы.

Её делают в Stable Diffusion со специальными моделями для сферической проекции или в сервисах вроде Blockade Labs. На выходе получается картинка с пропорциями 2:1. Наложите её на сферу или цилиндр, и получите честные 360 градусов. Чтобы кадр ожил, берут Deforum или AnimateDiff и задают камере траекторию внутри сферы.

Главная заноза в панорамах – бесшовность. Зациклите картинку в лоб, и на стыке краёв появится резкий переход. Лечится это двумя шагами:

1. Сдвиг фазы (Offset). Картинку смещают по горизонтали так, чтобы левый и правый края встали по центру кадра.
2. Инпейнтинг (Inpainting). Область шва закрашивают маской, и Stable Diffusion с ControlNet генерирует её заново. Стык исчезает, текстура и логика сцены остаются.

Такие панорамы быстро делаются под тендерные презентации. Как агентства защищают технологичные концепции перед клиентами, я писал в статье про технологии мероприятий, с которыми агентство берёт тендер.

Сверхвысокое разрешение без рендер-ферм

На больших стенах Full HD и 4K не хватает: зритель стоит близко и видит каждый пиксель. На площадках часто просят 8K, 12K и выше.

На классических 3D-станциях такой рендер занимает недели и стоит дорого. Нейросети берут эту работу через апскейлинг, и порядок такой:

1. Первичную генерацию или базовый рендер делают в небольшом разрешении, например в 2K. На нём быстро ищут стиль и согласуют сцену с клиентом.
2. Утверждённый ролик гонят через апскейлер: Topaz Video AI или диффузионные сетки.
3. Алгоритм дорисовывает микродетали: фактуру камня, кору деревьев, блики на воде, пылинки в воздухе.

Итог – детализированное полотно, которое выдерживает близкий взгляд. Что ещё в графике для проекций теперь делают нейросети, я разбирал в материале про то, что в смете мэппинга теперь делают нейронки.

Как подогнать иммерсивное шоу под геометрию площадки

Видео ложится на стены, огибает колонны и дверные проёмы, заходит в углы. Для купольного зала, например планетария, контент переводят в формат Fisheye («рыбий глаз»).

В классическом продакшене строят точную 3D-копию зала и настраивают виртуальную камеру под каждый проектор. В ИИ-пайплайне адаптация идёт на этапе композитинга и маскирования:

1. Генеративный контент делают плоскими развёртками или отдельными планами.
2. Нейросети сами строят карты глубины (Depth Maps) из любого плоского изображения. По ним сцена делится на передний, средний и задний планы.
3. Слои деформируют под архитектурную сетку площадки (pixel map) в TouchDesigner, Resolume или Blender.

В итоге картинка цепляется за рельеф помещения и перестаёт выглядеть экраном, повешенным на стену. Похожие механики хорошо работают в интерактивных зонах. Примеры я собрал в подборке про пять нейро-интерактивов, которые можно показать на тендере.

Куда уходит экономия бюджета

Одной кнопкой такой контент не собирается. Режиссёр, монтажёр и звукорежиссёр нужны по-прежнему. Зато структура расходов меняется, и вот где именно:

– Концепт и раскадровка. Вместо ручных эскизов художников варианты быстро генерируют в Midjourney, и предпродакшен сжимается. – Окружение. Бесшовные фоны рождаются из промптов, и 3D-моделлерам остаётся меньше ручной работы: моделирования, текстурирования, света. – Анимация и динамика. Движение генерируют или строят по картам глубины, поэтому физику и частицы не нужно симулировать вручную. – Финальный рендер. Апскейл можно гонять локально, например на видеокарте уровня RTX 4090, и аренда рендер-ферм на недели отпадает.

Конкретных процентов экономии в моём материале нет, и называть их я не буду. Зато видна главная выгода: правки. Заказчик просит поменять цвет стен, время суток или добавить деталь. В 3D-пакете это перезапуск рендера всей сцены. В ИИ-пайплайне правку вносят точечно через инпейнтинг за несколько минут. Для продюсера это меньше рисков на этапе правок и защита маржи перед клиентом.

Что проверить перед стартом

1. Попросите у подрядчика одну сцену в виде развёртки 2:1 и проверьте стык: сдвиньте картинку по горизонтали и посмотрите, остался ли шов.
2. Согласуйте сцену в низком разрешении и пускайте на апскейл только утверждённый ролик. Иначе вы заплатите за дорисовку деталей, которые клиент потом попросит убрать.
3. До начала генерации запросите у площадки pixel map, размеры экранов и схему проекторов. Геометрию лучше знать заранее.
4. Сделайте тестовый апскейл куска ролика и посмотрите, как алгоритм ведёт себя на мелких деталях. Оставьте в графике время на правки.

Всё это упирается в реальное производство: площадку, проекторы, дедлайн. Как такой AI-пайплайн выглядит в готовой работе, видно в промо-фильме конкурса «Арктические узоры», где орнаменты северных народов проступают в природе. Остальные проекты собраны в разделе ролики и видеоконтент для мероприятий и активаций.