Как нейросеть для анимации фото меняет работу с архивами

Команда Google DeepMind и кинокомпания Даррена Аронофски Primordial Soup выпустили короткометражный фильм «Love, Rendered». Мне как продюсеру этот кейс интересен тем, как авторы применили нейросеть для анимации фото, чтобы оживить воспоминания 70-летней давности. Режиссеры воссоздали день знакомства пожилой пары – событие, которого никогда не было на пленке. Это готовый технологический процесс для работы с архивными материалами в рекламе, документалках и брендированном контенте.

Как оцифровать то, чего никогда не снимали

В центре сюжета документальной картины – Берт и Этель Шац, которые женаты уже больше 70 лет. У Берта прогрессирует деменция, и его воспоминания постепенно угасают. Самое дорогое для супругов событие – день их первой встречи в студенческом кооперативе в Кливленде. Но они никогда не снимали этот день на фото или видео. Событие существовало только в их памяти.

Режиссер Лиз Гарбус, номинант на премию «Оскар», и продюсер Даррен Аронофски решили воссоздать этот момент на экране. Идея родилась из медицинских наблюдений. Во время съемок другого фильма Лиз Гарбус видела, как томограф фиксирует активность мозга пациентов в коме, когда те слышат голоса близких. А Даррен Аронофски наблюдал, как бывшая балерина с синдромом Альцгеймера инстинктивно начинает танцевать в инвалидном кресле под музыку из «Лебединого озера».

Обычно в клиниках используют терапию воспоминаниями – показывают пациентам старые семейные вещи или фотографии. Но что делать, если снимков ключевого момента просто нет? Создатели фильма привлекли инженеров Google DeepMind, чтобы решить эту задачу с помощью искусственного интеллекта. Этель Шац сама стала соавтором процесса. Она сидела рядом с разработчиками и подсказывала точные детали сцены – от изгиба деревянной лестницы до формы каблука на ее туфлях.

Технология переноса мимики сквозь десятилетия

Инженеры разделили техническую задачу на два этапа, чтобы сохранить эмоциональную точность образов. Сначала они взяли оригинальные черно-белые снимки Берта и Этель из их юности. С помощью генеративных моделей они восстановили эти фотографии и сделали их цветными. Это дало прочную визуальную основу, чтобы последующие сцены оставались портретно точными.

Второй этап – самый сложный и интересный для продакшена. Разработчики применили модели захвата движений и мимики. Они записали тончайшие микродинамические особенности пожилых супругов в реальном времени: характерный наклон головы Берта, легкую паузу перед началом фразы, мимические морщинки вокруг глаз Этель при улыбке. Затем инженеры наложили эти индивидуальные паттерны поведения на восстановленные молодые лица героев.

В результате получилась плавная анимация. Экранные молодые версии Берта и Этель двигаются точно так же, как реальные прототипы сегодня. Такой подход помог объединить прошлое и настоящее героев. Они создали на экране живое воспоминание, которое сами супруги признали абсолютно достоверным.

Практическая польза для видеопроизводства

Для рекламных агентств и видеопродакшенов этот кейс упрощает работу со сложными архивными проектами. Раньше для подобных задач требовался огромный бюджет на компьютерную графику, долгий подбор похожих актеров и сложный возрастной грим. Теперь процесс стал дешевле и быстрее. Продюсеру это дает как минимум три сценария применения этой технологии в коммерческих проектах.

Во-первых, технология позволяет оживлять исторических личностей или основателей брендов для корпоративных фильмов и юбилеев компаний. Достаточно найти несколько качественных архивных снимков и записать движения современного актера с похожей пластикой.

Во-вторых, так можно решать задачи в рекламе, где важно показать связь поколений. Можно взять реальные детские или юношеские снимки героев, заставить их двигаться на экране и детально перенести на них текущую мимику.

В-третьих, это дает инструмент для глубокого сторителлинга. Подлинные черты лица и привычек героев делают видео искренним. Это важно для социальных кампаний и брендированных документальных фильмов. Качественная реставрация и оживление старых кадров больше не требуют месяцев кропотливой ручной работы художников. Нейросети превратились в гибкую кисть, которая помогает продюсерам рассказывать истории точнее, быстрее и за разумные деньги.