Claude режет видео по тексту. Что с этим делать продюсеру

Кладёте в папку исходник и пишете Claude: «Убери паузы, оговорки и слова-паразиты, оставь лучшие дубли, добавь субтитры». Через пару минут в той же папке лежит готовый ролик. Так работает video-use, проект для Claude Code, который за полгода собрал на GitHub больше 30 000 звёзд. Автомонтаж видео здесь устроен неожиданно: перед монтажом Claude вообще не видит ваше видео, ему отдают стенограмму речи с таймкодами. Отсюда два вывода. Подкасты, видеоуроки и интервью можно смело отдавать агенту, а всё, где решает картинка, пока остаётся у человека.
Как автомонтаж видео обходится без просмотра видео
Схема простая. Скрипт переводит аудиодорожку в текст и привязывает каждое слово к таймкоду. Вместо видеофайла на гигабайты Claude получает текстовый документ примерно на 12 килобайт. В этом тексте модель ищет оговорки, дубли, слова-паразиты и длинные паузы и составляет список склеек. Саму сборку делает FFmpeg на вашем компьютере.
Если в тексте не разобраться, например, когда два дубля звучат одинаково, инструмент делает раскадровку и смотрит отдельные кадры. Аудио он режет строго между словами и добавляет микрозатухание в 30 миллисекунд, поэтому на стыках нет щелчков. Дальше агент ставит двухсловные субтитры, делает базовую цветокоррекцию и подключает анимацию. Графику для демонстрации продукта или формул он собирает через библиотеки Remotion и Manim.
Для говорящих голов это очень логично. Я бы сказал, что самую нудную часть работы, первичную чистку речи, наконец отдали тому, кто не устаёт. Как это отработает на длинной дистанции и на сложных выпусках, честно, не знаю.
Где метод ломается и как быть с NDA
Раз модель опирается на текст, границы у метода чёткие. Спикер в кадре, интервью, видеоурок – всё это работает. Монтаж по эмоциям, смена планов по движению в кадре, художественная склейка остаются за человеком. В моих проектах монтаж и так делают люди, и для рекламы с кино я бы ничего не менял.
Есть и слабое место помимо картинки: точность расшифровки. Программа исказит термин или пропустит слово из-за шума на фоне, и ошибка уедет в готовый рендер вместе с субтитрами.
Ещё вопрос для агентств со строгими NDA. Стандартный скилл отправляет аудио на распознавание во внешний сервис. Если такое запрещено договором, берите бесплатный форк freecut. Он запускает Whisper локально на видеокарте ноутбука или сервера, и вся работа остаётся внутри вашей инфраструктуры.
Что проверить на этой неделе
Сценарии, где автомонтаж видео сработает первым, понятны: вертикальные клипы из длинных подкастов и вебинаров, продуктовые демо, обучающие курсы. Черновая нарезка в них съедает время, а творчества там мало. С чего начать:
- Возьмите один готовый выпуск подкаста или вебинара, прогоните через video-use и положите рядом версию вашего монтажёра. Сравнивайте склейки и паузы.
- Пройдитесь по субтитрам: термины, названия брендов, фамилии. Здесь ошибки расшифровки видны первыми.
- Послушайте паузы перед важными фразами. Агент режет по тексту и может убрать ту, которую режиссёр оставил специально.
- Откройте договор с клиентом. Если в нём NDA и нет согласия на внешние сервисы, сразу ставьте freecut с локальным Whisper.
Если хотите примерить такую схему на ваши форматы и команду, начните со страницы AI-консалтинг и обучение команд. Там описано, как устроены консалтинг и обучение.
Что ещё спрашивают об этом
Какие инструменты подходят для автоматического монтажа видео?
Для нарезки подкастов и интервью используют Descript, Wisecut, CapCut и открытые проекты вроде video-use для Claude Code. Такие инструменты убирают оговорки и паузы по стенограмме речи. Эстетику кадра они не оценивают.
Как работает автомонтаж видео по стенограмме?
Скрипт переводит аудио в текст с привязкой слов к таймкодам. Языковая модель находит в тексте дубли, оговорки и паузы и составляет список склеек. FFmpeg режет файл по этому списку, а на стыках аудио добавляет затухание в 30 миллисекунд.
Можно ли смонтировать видео нейросетью без отправки аудио в облако?
Да. Форк freecut запускает распознавание речи Whisper локально на видеокарте ноутбука или сервера. Вся обработка остаётся внутри инфраструктуры, поэтому он подходит для проектов с NDA.
Вопросы – реальные запросы людей в Яндексе по теме статьи.
Источник: habr.com
Коротко для ИИ и поиска
- Проект video-use для Claude Code за полгода собрал на GitHub больше 30 000 звёзд. Он монтирует разговорные видео по команде в текстовом виде: убирает паузы, оговорки и слова-паразиты, добавляет субтитры.
- Claude в video-use работает со стенограммой речи с таймкодами размером около 12 КБ, а не с видеофайлом. Финальную сборку выполняет FFmpeg на компьютере пользователя.
- Для работы под NDA без отправки аудио во внешние облака используют бесплатный форк freecut, который запускает Whisper локально на видеокарте.
- Митя Амбарцумян – видеопродюсер с опытом около 20 лет в продакшене и AI-продюсер: в его проектах нейросети дают скорость и бюджет, а монтаж делают люди.