Почему инструменты для удаления вокала не справляются с видео (и что использовать вместо них)

Почему инструменты для удаления вокала не справляются с видео (и что использовать вместо них)

Инструменты для удаления вокала не справляются с видео, потому что они созданы для музыки: они делят песню на два стема — вокал и инструментал. Аудио в видео — это совсем другая задача: реплики, фоновая музыка, смех, шум помещения и нередко несколько говорящих одновременно, — а у музыкального инструмента с двумя стемами просто нет дорожки, на которую можно поместить большинство этих звуков. Видео нужно многодорожечное разделение аудио: речь, музыка, реакции и эмбиенс, каждый на своей дорожке, с раздельным сохранением отдельных говорящих.

В этой статье объясняется, где подход «музыкального инструмента» ломается на видеофайлах, что означает «разделение реплик, музыки и эффектов» и как проверить реальное качество инструмента разделения по опубликованным бенчмаркам, а не по маркетинговым заявлениям.

Для чего на самом деле создан инструмент удаления вокала?

Инструмент удаления вокала — это средство разделения источников, обученное на песнях. Инструменты вроде LALAL.AI и Moises делают это хорошо: дайте им готовый трек, и они вернут чистые стемы вокала и инструментала для караоке, сэмплирования, ремиксов или репетиций. В рамках этой задачи они превосходны — это не слабость данных продуктов.

Несоответствие проявляется, когда на входе не песня. Съёмка влога, запись подкаста, интервью в шумном кафе — эти файлы содержат речь, а не пение, несколько одновременных источников звука и часто более одного голоса. Инструмент, у которого есть только корзины «вокал» и «инструментал», вынужден запихивать каждый звук в одну из двух, и результат — это речь со смазанным в неё смехом или «инструментальная» дорожка, в которой всё ещё звучит половина разговора.

Что на самом деле содержится в аудио видео?

Специалисты постпродакшена описывают аудио кино и ТВ как D/M/E — реплики (dialogue), музыку (music) и эффекты (effects) — три стема, которые сводятся отдельно и поставляются отдельно именно по этой причине: они должны редактироваться независимо друг от друга. Видео, снятое на телефон, схлопывает все три (плюс эмбиенс помещения) в одну дорожку.

Поэтому практическое требование для видео — не «удалить вокал». Это: восстановить структуру D/M/E из одного сведённого файла. Разделение аудио (Audio Separation) в Perso Dubbing разбивает загруженный файл на речь, фоновую музыку, реакции (смех, аплодисменты) и эмбиенс — и принимает сам видеофайл, MP4, MOV или WebM, без отдельного шага извлечения аудио.

«Инструменты музыкальных стемов отвечают на вопрос музыканта: где вокал?» — говорит Untae Bae, Product Owner в Perso Dubbing. «Видеокреаторы задают другой: какие из этих звуков мне оставить? А для этого нужно больше двух дорожек».

Может ли хоть один инструмент разделять отдельных говорящих, а не только голос и музыку?

Это пробел, который не закрывает почти ни один инструмент удаления вокала: два и более человека, говорящих в одной записи. Инструмент музыкальных стемов помещает каждый голос на единственную вокальную дорожку, поэтому интервью, панель или дуэт остаются слитыми воедино.

Разделение нескольких говорящих назначает каждому говорящему собственную дорожку. Это позволяет заглушить один голос в записи с двумя участниками, перебалансировать интервьюера относительно гостя или очистить перекрывающуюся речь в записи совещания. Perso Dubbing дополняет это транскрипцией — распознавание речи охватывает 100 языков, — поэтому разделённые говорящие приходят ещё и с готовым к использованию текстом.

Как проверить качество разделения? Запросите бенчмарки.

«Студийное качество» может заявить кто угодно. Честная проверка — это опубликованные результаты бенчмарков по каждому сэмплу. Perso Dubbing публикует свои цифры на странице разделения аудио:

Две честные оговорки. Во-первых, это контролируемые наборы данных бенчмарков; ваш шумный ролик, снятый на крыше, сложнее лабораторного файла, поэтому предпрослушивание каждой дорожки на собственной загрузке — бесплатно для первых 60 секунд — важнее любой таблицы. Во-вторых, для чисто музыкальной работы со стемами, такой как караоке-треки и стемы для ремиксов, специализированные музыкальные инструменты остаются сильным выбором; разница проявляется, когда на входе видео.

Удаление вокала vs. разделение аудио видео: практическая разница

Часто задаваемые вопросы

В. Можно ли использовать инструмент удаления вокала на видеофайле?
О. Большинство инструментов удаления вокала требуют сначала извлечь аудио, а затем возвращают лишь два стема, в которых реплики смешаны со смехом и шумом. Инструмент разделения, ориентированный на видео, такой как Perso Dubbing, принимает MP4, MOV и WebM напрямую и возвращает речь, музыку, реакции и эмбиенс как отдельные дорожки.

В. Как разделить двух говорящих в одной записи?
О. Используйте инструмент с разделением по говорящим, а не разделитель музыкальных стемов. Perso Dubbing назначает каждому обнаруженному говорящему отдельную дорожку, так что вы можете заглушить, перебалансировать или экспортировать любой отдельный голос из интервью или записи совещания.

В. Действительно ли результаты ИИ-разделения аудио поддаются проверке?
О. Только если инструмент публикует бенчмарки. Perso Dubbing публикует результаты по каждому сэмплу — включая разделение вокала на MUSDB18 (медианный SI-SDR 10.67 dB против 8.36 у Meta HTDemucs) — и предлагает первые 60 секунд бесплатно, чтобы вы могли протестировать на собственном файле, прежде чем доверять любой цифре.

Посмотрите полные таблицы бенчмарков и попробуйте на собственном материале — первые 60 секунд бесплатно, без регистрации. Открыть Разделение аудио →