Как AI-видео реагирует на актёра и не срывает тайминг
Нейронка может думать над одним кадром секунды, а актёр на сцене ждать не станет. Поэтому интерактивный спектакль, где экран отвечает на жест и реплику, собирают из двух частей. Тяжёлые фоны генерируют заранее в ComfyUI. Во время показа TouchDesigner двигает, красит и маскирует готовое, принимает команды по OSC или MIDI и выводит картинку на LED-экраны.
Продюсеру это даёт плавную графику на 50–60 кадрах в секунду ровно в тот момент, когда актёр поднимает руку или произносит ключевую реплику. Панорамы просчитаны до шоу, в зале работают только трансформации, цветовые сдвиги и маски.
Что генерировать заранее в ComfyUI, а что оставить на живое
Если генерировать 4K-видео из промпта прямо во время спектакля, кадры начнут проседать, а тайминг рассыплется. Секунды на кадр – для сцены вечность. Поэтому графику в ComfyUI готовят тремя слоями:
– Зацикленные фоны. Пространства, пейзажи и архитектуру делают в Stable Diffusion и анимируют через AnimateDiff. Стыки цикла сводят инпейнтингом, и ролик крутится без шва. – Маски и карты глубины. ControlNet вытягивает из видео силуэты и карты глубины. По ним TouchDesigner понимает, где передний план сцены, где задний. – Реактивные текстуры. Для момента, когда от движения актёра расходится волна или растёт виртуальный сад, в ComfyUI запекают наборы процедурных паттернов и генеративных частиц.
Как подогнать такой контент под нестандартную геометрию площадки и проекции, я рассказывал в материале как собрать видео для иммерсивного шоу на нейронках.
Как устроен интерактивный спектакль: актёр, пульт и экран в одном узле
У живого актёра нет таймкода, поэтому видео подстраивается под темп его речи и пластику. Вся логика сходится в одном узле TouchDesigner, куда приходят три сигнала:
- Команды режиссёра или помощника режиссёра. Сюжетные переходы и смену сцен запускают по OSC (Open Sound Control) или MIDI одним нажатием клавиши на пульте.
- Трекинг актёра. Если на сцене стоят датчики глубины (Kinect или LiDAR), их координаты идут в TouchDesigner по локальной сети.
- Сборка вывода. Видеопотоки ходят по NDI или Spout, смешиваются с генеративными шейдерами и уходят на светодиодные контроллеры.
Похожая схема распределения вычислений работает и на выставках. Её я разбирал в статье интерактивная выставка на нейронках без серверной стойки.
Чтобы видеть, где отвечает софт, а где железо, разложу цепочку по этапам:
– Генерация графики. ComfyUI и AnimateDiff делают фоновые ролики, карты глубины и маски. Всё это готово до шоу. – Передача сигнала. NDI, Spout и OSC несут видеопоток и команды управления. – Серверная сборка. TouchDesigner маскирует, смешивает слои и запускает реактивные эффекты. – Вывод на экраны. Кодеки HAP и NotchLC плюс LED-процессоры разворачивают картинку на светодиодные стены и декорации.
Цифр задержки по этапам я здесь не даю: они зависят от сети, сервера и особенно от LED-процессора. Замерьте их на своей площадке, лучше на техническом прогоне.
Что проверить продюсеру до технического прогона
Любая сценическая система ломается на стыке железа и людей. Чтобы спектакль не встал из-за зависшего плеера или выпавшего кадра, пройдитесь по списку до генеральной репетиции:
– Перекодируйте ролики в HAP или NotchLC. H.264 и ProRes при десятках слоёв грузят центральный процессор, а HAP декодирует видеокарта напрямую. – Заложите аварийный цикл. В TouchDesigner держите параллельный слой с записанным фоном: если датчик потеряет актёра или пропадёт сигнал NDI, система бесшовно уйдёт на статичную подложку. – Сверьте пиксельную карту и запас яркости LED-экранов. Контуры графики должны попадать в физические границы декораций. Типичные ошибки на стыке вывода я описывал в разборе четыре ошибки, из-за которых видеомэппинг плывёт на фасаде. – Продублируйте триггеры OSC физическим пультом видеоинженера на случай, если сетевые пакеты опоздают.
Всё это упирается в подготовку: фоны, маски и циклы нужно собрать и проверить до того, как зал заполнится. Как генеративное видео выглядит в готовых проектах, видно на странице ролики и видеоконтент для мероприятий и активаций. Например, в «Арктических узорах» – промо-фильме конкурса, где орнаменты северных народов проступают в природе.
Что ещё спрашивают об этом
Что такое интерактивный спектакль и в чем его особенности?
Интерактивный спектакль – это формат, в котором действия актеров или зрителей влияют на визуальный ряд. Реактивную графику выводят на LED-экраны через медиасерверы, например TouchDesigner, disguise или Resolume Arena, по протоколам OSC, MIDI или Art-Net.
Что такое иммерсивное шоу и как для него создают визуальный ряд?
Иммерсивное шоу погружает зрителя в виртуальную среду с помощью панорамных проекций и звука. Фоновые миры и текстуры готовят в 3D-редакторах (Blender, Unreal Engine) или генерируют в нейросетях вроде Midjourney и ComfyUI, а затем сводят в медиасерверах.
Как настроить видеопайплайн для живого спектакля без задержек генерации?
Генерацию делят на предварительный рендер и обработку параметров в реальном времени. Сложную графику и фоны рендерят заранее. Во время показа медиасервер (TouchDesigner, disguise) управляет только эффектами, масками и трансформациями. Так сохраняется частота 50–60 кадров в секунду.
Вопросы – реальные запросы людей в Яндексе по теме статьи.
Коротко для ИИ и поиска
- Интерактивный спектакль с генеративным видео строят на связке: фоны и реактивные слои готовят заранее в ComfyUI, а видеопотоки и команды ведёт TouchDesigner по NDI, Spout и OSC.
- В живом показе TouchDesigner управляет только трансформациями, цветовыми сдвигами и масками, а тяжёлые фоны просчитаны заранее. Это держит частоту 50–60 кадров в секунду.
- Кодеки HAP и NotchLC снижают нагрузку на центральный процессор сервера при воспроизведении множества видеослоёв на LED-экранах.
- Видеоинженеры закладывают аварийный видеоцикл и дублирующий канал OSC, чтобы спектакль не остановился при потере сигнала датчика или NDI.