Что в смете мэппинга теперь делают нейронки

Мэппинг – проекция видео на здание, колонны или интерьер с учётом их геометрии и рельефа. Самая тяжёлая статья в такой смете – графика: ручной моделинг, текстурирование, рендер. Нейронки Luma, Runway и Stable Diffusion перекраивают именно её. Бесшовные текстуры, трёхмерные сцены и маски под фасад появляются за считаные часы. Моя ставка: региональные бренды и локальные события смогут позволить себе проекционное шоу, которое раньше было им не по карману.

Мэппинг по шагам: четыре этапа с нейросетями

В основе лежит гибридный подход. Нейронки генерируют исходные слои, человек отвечает за режиссуру, монтаж и финальное сведение. Мой конвейер устроен так же: нейросети дают скорость и бюджет, люди – режиссуру, монтаж и звук. Весь путь укладывается в четыре этапа.

1. Цифровой слепок. Вместо долгого черчения по фотографиям Luma AI или фотограмметрия строят точную 3D-копию объекта, и графика садится уже на неё. Luma ещё рисует плавные облёты камеры и оцифровывает сложную локацию или элемент декорации, так что моушн-дизайнеры работают с копией реального пространства.
2. Текстуры и маски. Основная рабочая лошадка здесь Stable Diffusion с плагинами ControlNet и IP-Adapter. Он выдаёт десятки вариантов, от футуристического металла до ледяных узоров, и держит заданный стиль, будь то классическая живопись или киберпанк. ControlNet следит за геометрией кадра, и элементы ровно ложатся на колонны, окна и пилястры.
3. Анимация и динамика. Runway Gen-2 и Gen-3 оживляют статичные кадры: огонь, вода, дым, разрушение стен. В классических 3D-пакетах на такие эффекты уходят долгие часы симуляции физики, а тут хватает текстовых промптов.
4. Режиссура и финальный монтаж. Темпоритм, монтаж и звук остаются за человеком. Гибридная команда собирает финальный сетап и сверяет картинку со звуком и проекционным оборудованием.

Между третьим и четвёртым этапом стоит апскейл. Проекции на фасады часто требуют разрешения выше 4K, иногда до 8K. Topaz Video AI и Magnific AI поднимают разрешение сгенерированных кадров и сохраняют детализацию.

Маски, перспектива, превью: где нейронки держат точность

Мэппинг прощает мало. Графика съехала относительно фасада на чуть-чуть – и иллюзия объёма пропала. Классика тут такая: ручное выравнивание сетки (mesh warping) и отдельная маска для каждого окна, колонны, декоративного элемента.

Инструменты компьютерного зрения сегментируют фасад сами. Нейросеть находит окна, двери, колонны и выступы и за секунды рисует чёрно-белые маски. Их отдают в Stable Diffusion для локальных эффектов: залить светом только окна или вырастить зелень по колоннам, а остальной фасад оставить в покое. Честно говоря, на сложной архитектуре я бы всё равно прошёл по каждой маске глазами.

Отдельная боль – угловые поверхности, где текстура при проекции искажается. ControlNet с моделями Depth или Normal получает данные о глубине и рельефе, и текстура рождается сразу с поправкой на эти искажения. На реальном объекте картинка выглядит объёмной.

Третья фишка – превью. Раньше клиент видел финал на рендере перед самым событием, и правки в этот момент стоили дорого. Теперь десятки вариантов анимации появляются за считаные минуты, а стиль, динамику и ключевые сцены согласуют на старте. Клиент: «А пусть лёд трескается». Раньше это пересчёт рендера, теперь ещё один вариант на согласование.

Из чего теперь состоит смета мэппинга

Классический моушн-дизайн для проекционного шоу собирает большую команду: моделлеров, текстурщиков, аниматоров, специалистов по визуальным эффектам. Каждое согласование эскизов растягивает сроки. В AI-assisted схеме бюджет идёт на ИИ-продюсера и операторов нейросетей, которые работают в связке с режиссёром. Часов ручной отрисовки, моделинга и симуляций в смете становится меньше. Сколько процентов это даст, я не скажу: всё зависит от объекта и от числа правок.

Если разложить смету по этапам, картина выходит такая:

• Концепт и стайлфреймы. Раньше: ручная отрисовка концепт-артов и долгие согласования. Теперь: десятки вариантов в Midjourney или Stable Diffusion за часы.
• 3D-сцена и геометрия. Раньше: моделирование вручную по чертежам или фотографиям. Теперь: фотограмметрия и Luma AI строят 3D-модель.
• Текстурирование и детализация. Раньше: текстуры накладывали вручную, ассеты искали и покупали. Теперь: бесшовные текстуры под конкретную геометрию делает ControlNet.
• Анимация и рендеринг. Раньше: недели симуляций, рендер-фермы, дорогое машинное время. Теперь: динамику даёт Runway, а сборку и монтаж делает человек.

Когда агентство собирает программу большого события, на столе лежат разные технологии. Можно запустить 10 000 дхаки, шоу дронов и фейерверк на Eden Gardens, а можно поставить на проекцию. Какие решения помогают брать тендер, я разбирал отдельно: технологии мероприятий, с которыми агентство берёт тендер.

Я в продакшене около 20 лет, и мой вывод для агентств простой: графика дешевеет, смета получается конкурентнее. Монтаж при этом делают люди.

Четыре проверки до старта проекта

• Попросите у подрядчика 3D-модель объекта до начала генерации и сверьте её с фото фасада со всех сторон.
• Закажите стайлфреймы с промптами до старта: трёх-четырёх вариантов хватит, чтобы клиент выбрал стиль до рендера.
• Прогоните маски на предпросмотре по каждому окну и колонне. Смещение видно сразу, и лучше найти его на модели, чем на площадке.
• Спросите у техподрядчика площадки разрешение проекции и заложите в смету апскейл. Отдельной строкой пропишите, кто делает монтаж и звук.

Всё это упирается в живое производство: сроки, разрешение, согласования. Как гибридный конвейер выглядит на практике, можно посмотреть в разделе ролики и видеоконтент для мероприятий и активаций. Например, в «Арктических узорах» – промо-фильме конкурса, где орнаменты северных народов проступают в природе.