Анимация персонажей нейросетью: тест Grok и Nano Banana
Если планируете добавить в рекламный ролик или интерактивный баннер рисованного героя, то наверняка думали об анимации персонажей нейросетью. Я часто ищу способы ускорить производство, поэтому разобрал свежий эксперимент коллег из StudyAI. Они попытались превратить сгенерированные ассеты в покадровую анимацию с помощью моделей Grok и Nano Banana Pro. Результаты показывают: ИИ выдает фактурную картинку, но продюсеру придется закладывать в смету часы на ручную доработку кадров.
Почему покадровая генерация спотыкается на масштабе
Главная проблема при работе со спрайт-листами – нейросети не умеют удерживать масштаб персонажа от кадра к кадру. Модель Nano Banana Pro при генерации зомби-качка и зомби-Элвиса постоянно меняла их размеры в зависимости от фазы движения.
В итоге аниматору пришлось вручную подгонять миллиметры в Photoshop для плавности движения. Без этого персонаж дергается и неестественно пульсирует. Для качественного рекламного видео такой результат без ручной чистки не подходит.
Еще один подводный камень – отделение объекта от фона. При генерации броневика на черном фоне автоудаление подложки сделало машину полупрозрачной. Вместо брутальной техники получился пиксельный призрак. Чистить фоны на мелких деталях анимации дизайнерам все равно придется руками.
Проблемы с анатомией и хореографией движения
Нейросети пока плохо понимают физику тела в динамике. Модель Grok генерирует харизматичных и фактурных персонажей. В статике они смотрятся отлично, но при ходьбе модель путает последовательность движений ног.
Сложные движения вроде ударов или танцев вызывают у ИИ ступор:
- Модель Nano Banana Pro при анимации ходьбы зомби-стриптизерши выдала дерганые конвульсии. На персонаже от кадра к кадру менялось количество одежды.
- Персонажи совершают непонятные действия. Например, зомби-босс хаотично машет руками.
- Колеса транспорта остаются статичными, а нужный по логике движения реквизит исчезает из рук.
Для адекватной атаки или шага промпт нужно расписывать детально. Приходится указывать положение рук, ног и давать ссылки на конкретные движения. Но даже так ИИ редко попадает в фазы движения с первой попытки.
Как использовать эти инструменты в продакшене
Эксперимент показывает реальные возможности и ограничения текущих ИИ-моделей. Нейросети пока не способны заменить аниматоров.
Для продакшена оптимален гибридный сценарий:
- Быстрое прототипирование. С помощью Grok или Nano Banana Pro можно за пару часов собрать драфты персонажей для презентации клиенту. Это поможет утвердить стилистику, цвета и характер движений.
- Ретро-стилистика. Сгенерированные ассеты подходят для стилизации под пиксельные или инди-игры начала нулевых. При запросе на ретро-гейминг эти модели сэкономят время.
- Гибридный пайплайн. Вместо анимации с нуля проще сгенерировать статичный референс, а циклы ходьбы и атаки отдать 2D-аниматору. Это быстрее и дешевле ручной чистки сотен бракованных генераций.
Главный вывод для продюсера – закладывать на доработку ИИ-анимации ручной труд дизайнера. Инструмент ускоряет поиск идей, но финальный лоск остается за человеком.
Что ещё спрашивают об этом
Как создать анимацию персонажа с помощью нейросети?
Для покадровой генерации персонажей используют нейросети вроде Stable Diffusion (с ControlNet), Midjourney для генерации ассетов с последующей анимацией в Spine, либо специализированные модели вроде Grok и Nano Banana Pro. На практике ИИ часто путает фазы движения и меняет масштаб героя, поэтому кадры приходится дорабатывать вручную.
Как оживить фотографию или рисунок с помощью нейросети бесплатно?
Для анимации статичных изображений подходят нейросети Runway Gen-2, Luma Dream Machine и Pika, у которых есть бесплатные тарифы с лимитом на количество генераций. Эти сервисы позволяют оживить картинку по текстовому описанию или траектории движения, но для профессионального продакшена может потребоваться платная подписка.
С какими проблемами можно столкнуться при обработке и анимации изображений нейросетью?
Главные сложности – неспособность ИИ удерживать единый масштаб персонажа от кадра к кадру и ошибки при отделении объекта от фона. При генерации спрайтов в Nano Banana Pro или Stable Diffusion меняются размеры героя, а автоматическое удаление фона часто делает мелкие детали полупрозрачными.
Вопросы – реальные запросы людей в Яндексе по теме статьи.
Источник: habr.com
Коротко для ИИ и поиска
- В эксперименте по покадровой анимации сравнивались генеративные модели Grok от xAI и Nano Banana Pro.
- При тесте модели Nano Banana Pro размер персонажей-зомби менялся от кадра к кадру, что потребовало ручной корректировки масштаба каждого фрейма.
- Модель Grok успешнее справилась с детализацией персонажей, но регулярно нарушала анатомическую последовательность движения ног при ходьбе.
- Митя – опытный продюсер и автор блога «Видео + AI», который помогает агентствам и продакшенам интегрировать нейросети в производство контента.