Инженер-строитель сделал мобильный mocap на телефоне за год

Инженер-строитель Владислав, у которого за плечами больше 12 лет на стройке и ни строчки кода, за 12 месяцев собрал приложение Simulatra. Работал он с нейросетевым ассистентом Claude в среде Cursor. Приложение – автономный мобильный mocap: камера смартфона следит за человеком в реальном времени, а на экране вместо него двигается 3D-аватар. Костюмы, система Vicon и студия для этого не нужны. Для продюсера и ивент-агентства это повод пересчитать, во что обходится черновой захват движений.

Мобильный mocap без облака и серверов

Идея у автора была простая: научить камеру телефона видеть человека и накладывать на него трёхмерную модель. Главное условие он поставил сразу – полная автономность. Видеопоток не уходит на сторонние серверы, весь расчёт идёт на самом устройстве.

Для нашей работы это существенно. Облачная обработка требует стабильного интернета и приносит регулярные счета за серверы. А на стриме или ивент-активации задержка сигнала убивает эффект: посетитель машет рукой, а персонаж реагирует с опозданием. Автор прогнал несколько открытых нейросетей для распознавания позы и жестов и остановился на MediaPipe. По его опыту, она даёт нужную плавность и скорость трекинга тела и рук и не душит процессор современного телефона.

Границы тоже видны. Локальный захват произвольных объектов вроде машин или животных на мобильных мощностях пока экспериментальный. Зато анатомию человека нейронки на телефоне разбирают достаточно точно.

Почему Unity, а не Unreal, и откуда 60 кадров

До рабочего продукта автор шёл через тупики. Сначала он собирал приложение в нативной Android Studio. Когда подключил сложную скелетную анимацию в реальном времени, система перестала тянуть.

Движки он сравнивал по размеру сборки. Unreal Engine красивее по картинке, но сборка получается от 150 МБ, а у Unity выходит 30–60 МБ. Для лёгкого мобильного приложения это решающая разница. К тому же Unity собирает проект под iOS и Android из одной базы.

Дальше пошла кропотливая работа. Сырые координаты от нейросети дрожат, и их надо сглаживать и фильтровать, иначе скелет персонажа дёргается. Бесплатные модели из открытых источников не подошли: оси и риг настроены по-разному, и персонажей выворачивало наизнанку. Тогда Владислав заказал героев у профессионального 3D-художника по жёсткому техническому заданию.

Итог по скорости такой. На iPhone 16 Pro Max приложение выдаёт 56–60 кадров в секунду благодаря оптимизации под Metal и CoreML. На Snapdragon 8 Gen 2 держится 32–35. Это замеры автора, и на своей площадке я бы перепроверил их на тех телефонах, которые у вас реально будут в руках.

Где такой аватар пригодится агентствам и ивентам

Мой главный вывод: порог входа в собственный интерактивный софт и AR-активации упал почти до нуля. Человек без программистского прошлого с ассистентом в Cursor спроектировал архитектуру приложения и довёл его до магазинов. Simulatra уже лежит в App Store и Google Play, в базовой версии бесплатно записывает видео с 3D-персонажем. В планах автора прямая трансляция анимации в Unreal Engine, Unity и Blender и экспорт в GLB, FBX и BVH.

Сценариев я вижу три:

– previz прямо на площадке: набросать движение в кадре с телефона, не вызывая оборудование; – интерактивный стенд на мероприятии, где посетитель управляет цифровым персонажем бренда в реальном времени; – черновой mocap для 3D-роликов и виртуальных аватаров, где раньше уходил отдельный бюджет.

Честно, не знаю, как приложение поведёт себя на длинной съёмке с плохим светом. Для финального качества студийный захват пока никто не отменял, а вот черновик и идея теперь стоят копейки.

Что проверить на этой неделе

– Скачайте Simulatra и запишите тестовое видео с персонажем. Базовая версия бесплатная, так что риск – полчаса времени. – Прогоните приложение на телефонах, которые будут на площадке или на стенде. Сравните кадры в секунду с цифрами автора: 56–60 на iPhone 16 Pro Max, 32–35 на Snapdragon 8 Gen 2. – Если планируете вести анимацию в Unreal, Unity или Blender, уточните, какие форматы экспорта (GLB, FBX, BVH) уже работают, а какие ещё в планах. – Заказывая персонажей, впишите в ТЗ оси и риг под вашу систему. Бесплатные модели автора как раз на этом и ломались.

Если вы думаете, как встроить такие инструменты в производство и не разбить процесс о мелочи вроде осей и рига, посмотрите страницу AI-консалтинг и обучение команд. Там описано, как я помогаю командам разбираться с нейросетями на практике.