Sony убирает эффект желе прямо в камере. Что для продюсера

Sony Semiconductor Solutions показала на автоспорте, как стабилизация видео работает внутри камеры: чип CXD5254GG Stabilizer LSI гасит сильные вибрации, держит горизонт и подавляет эффект желе (jello effect) в реальном времени. Он берёт данные сенсора и 6-осевого инерциального модуля (IMU) и обрабатывает RAW-поток с задержкой в 1,5 кадра. Для продюсера вопрос простой: сколько сложного исходника перестанет уходить в категорию «спасаем на посте».

Как стабилизация видео в камере меняет работу с исходником

Камера на капоте, мотоцикле или спортивном дроне ловит жёсткие вибрации. Прямые линии в кадре начинают плыть, это и есть желе. Вытягивать такой материал на монтаже можно, но часы моушн-дизайнеров и VFX-специалистов уходят именно туда.

Чип Sony сидит в тракте между матрицей и главным процессором изображения. Сопроцессор получает «сырые» данные с сенсора, сверяет их с датчиками движения и правит кадр до кодирования. В набор входят электронная стабилизация, выравнивание горизонта, подавление роллинг-шаттера и компенсация геометрических искажений объектива.

Задержка в 1,5 кадра – цифра из демо. Для лайва я бы проверил её на своей схеме, а не верил на слово.

Где эту штуку можно примерить уже сейчас

Sony встроила сопроцессор в компактные камерные модули серии ESC-A с сенсором IMX577. Их делали для вещания и специализированного видеопродакшена. Модули работают с SDI, профилями S-Log3, HLG и SDR, поддерживают удалённое управление и синхронизацию кадров для четырёх камер. Первое демо Sony сняла в автоспорте.

Дальше – моя ставка, не обещание производителя:

– Автомобильная реклама и автоспорт. Камера на кузове или в салоне, ровная картинка на резких ускорениях и неровном покрытии. – Прямые трансляции и ивенты. Компактные и нательные камеры можно пускать в эфир с минимальной чисткой. – FPV-дроны и роботы. Модуль лёгкий, подвес тяжёлый, так что выигрыш по весу выглядит логично. Как это отработает в реальном полёте, честно, не знаю.

Ещё хочется, чтобы такая архитектура дошла до кинокамер вроде Sony Cinema Line. Это пока моя надежда, анонса нет.

Что сделать со сметой и подрядчиками уже на этой неделе

Пока это демо и компактные модули, перестраивать смету целиком рано. Но четыре шага я бы сделал сразу:

1. Спросите у оператора и в прокате, есть ли модули с этим чипом, например серии ESC-A, и можно ли взять их на тест.
2. Перед сложной съёмкой снимите пробный проход на тех же вибрациях и отдайте монтажёру. Пусть скажет, остался ли эффект желе.
3. Для лайва проверьте задержку в 1,5 кадра на вашей схеме, в том числе при синхронизации нескольких камер.
4. Оставьте в смете строку на постстабилизацию и снимайте её только после того, как тест покажет чистый исходник.

Если тест пройдёт, выиграют риги, подвесы и часы на посте. Сколько именно, покажет ваш проект, а не пресс-релиз.

Я работаю с другой стороны: в спортивных проектах вроде «Окко. Спорт в цифрах» динамику рисуют нейросети, и вибрации там не страшны, потому что камеры нет. Живые съёмки и генеративный кадр часто собираются в одном ролике, и тогда исходник приходится выравнивать по качеству. Как это выглядит на практике, видно в портфолио: AI-видеопродакшн Мити Амбарцумяна.