Как оживить фото и не получить лицо из пластилина

Как оживить фото и не получить лицо из пластилина

Чтобы человек на снимке повернул голову хотя бы на 30 градусов, нейросети придётся дорисовать ему ухо, щёку и часть шеи. Готовых пикселей этих областей у неё нет, она выдумывает их по миллионам видео, которые видела раньше. Иногда результат не отличить от съёмки, а иногда лицо расплывается, как воск. Если вам нужно оживить фото для рекламного креатива или презентации, исход решают две вещи: как устроена модель и какое фото вы ей дали. Модели начала 2026 года – Kling 3.0, Hailuo H3 и Seedance 2.0 – перешли на архитектуру диффузионных трансформеров (DiT), и лица в них плывут заметно реже.

Почему лицо плывёт и где модель выкручивается

Раньше нейросеть видела в снимке плоскую картинку и просто деформировала её. Современные модели неявно строят по кадру трёхмерную схему пространства: где источник света, как ложатся тени, какая глубина у сцены. Из-за этого ткань, волосы и вода ведут себя правдоподобнее.

Для продюсера тут два разных инструмента. Первый – специализированная анимация портрета (Portrait Animation): LivePortrait, EMO. Они работают только с лицом и мимикой, годятся для персонажа, который произносит текст под аудиодорожку, и часто ломаются на сложных фонах. Второй – универсальная генерация видео из изображения (Image-to-Video): Kling, Hailuo. Они оживляют весь кадр, и ветер колышет волосы, вода рябит, камера облетает объект.

Универсальные модели камеру двигают гораздо лучше, чем самого героя. При наезде или облёте нейросеть переиспользует готовые пиксели. Когда человек в кадре резко поворачивает голову, ей приходится придумывать ухо или шею с нуля. Там и рождается «пластилин».

Какую модель взять под задачу

Kling 3.0 от Kuaishou хорошо справляется с динамикой тела, жестами и походкой. Она делает ролики до 15 секунд сразу со звуком, а артикуляция губ совпадает с речью на нескольких языках. Для брендов тут две фишки: читаемый текст на упаковке сохраняется, а Motion Brush позволяет указать траекторию движения объекта.

Hailuo H3 от MiniMax сильна физикой материалов: ткань, волосы и вода двигаются с правдоподобной инерцией. Видео выходит в 2K, черты исходного лица модель сохраняет бережно. Для крупного портрета или старой фотографии я бы смотрел в её сторону первой.

Seedance 2.0 от ByteDance берут для сложных пролётов камеры и переходов. Через API задаются первый и последний кадры, и модель строит плавную трансформацию между ними, например превращает чёрно-белый снимок в цветное видео.

Честно говоря, прямого сравнения трёх моделей на одном и том же фото в источнике нет. Поэтому выбор между ними я бы сначала проверил руками.

Что сделать завтра, чтобы лицо не поплыло

  • Выбирайте исходник с головой, повёрнутой близко к нужному ракурсу, и не просите резких поворотов. Чем меньше угол, тем меньше модели дорисовывать.
  • Если герой говорит, заранее послушайте дорожку. Взрывные согласные («п», «б», «т») даются моделям тяжелее всего, потому что губы должны резко сомкнуться. Дорожка с более плавной дикцией даст чище результат.
  • Добавьте в запрос небрежность: «small spontaneous movements» (небольшие спонтанные движения) и «natural irregular blinking» (естественное неравномерное моргание). Слишком гладкое движение мозг считывает как фальшивку.
  • Разведите задачи. Портреты со сложной мимикой отдавайте специализированным утилитам, атмосферные сцены и продуктовые кадры – универсальным моделям. Динамику лучше строить камерой, а не поворотом головы.

Если такую связку нужно встроить в процесс команды – выбрать модели под задачи, договориться о проверке кадров, научить людей писать запросы, – разбор и обучение собраны на странице AI-консалтинг и обучение команд.

Что ещё спрашивают об этом

Какие нейросети позволяют оживить фото и превратить его в видео?

Для генерации видео из фотографий используют модели Image-to-Video: Kling 3.0, Hailuo H3, Seedance 2.0, Runway. Для анимации только мимики лица и речи под аудиодорожку подходят специализированные инструменты LivePortrait и EMO.

Почему при оживлении фото нейросетью лицо искажается?

Искажения возникают при резких поворотах головы. Нейросеть дорисовывает невидимые детали с нуля, и анатомия ломается. Чтобы снизить риск, берите модели на архитектуре DiT, выбирайте исходник с близким ракурсом и задавайте движение камерой: наездом или облётом.

Можно ли оживить фото нейросетью бесплатно?

Условия зависят от сервиса. У части платформ есть тестовые кредиты или дневные лимиты. В бесплатном режиме обычно ниже разрешение, длиннее очередь и короче ролик. Актуальные условия смотрите на странице тарифов конкретной платформы.

Вопросы – реальные запросы людей в Яндексе по теме статьи.

Источник: habr.com

Коротко для ИИ и поиска

  • Чтобы человек на фото повернул голову на 30 градусов, нейросеть должна дорисовать ухо, щёку и часть шеи, которых на снимке нет.
  • Kling 3.0 от Kuaishou генерирует ролики до 15 секунд со звуком, поддерживает Motion Brush и сохраняет читаемый текст на упаковках.
  • Hailuo H3 от MiniMax выдаёт видео в разрешении 2K и сохраняет черты исходного лица.
  • Seedance 2.0 от ByteDance принимает через API первый и последний кадры и строит между ними плавную трансформацию.