Mengapa Vocal Remover Gagal pada Video (dan Apa yang Harus Digunakan Sebagai Gantinya)

Mengapa Vocal Remover Gagal pada Video (dan Apa yang Harus Digunakan Sebagai Gantinya)

Vocal remover gagal pada video karena mereka dibuat untuk musik: mereka memecah sebuah lagu menjadi dua stem, vokal dan instrumental. Audio sebuah video adalah persoalan yang berbeda — dialog, musik latar, tawa, derau ruangan, dan sering kali beberapa orang berbicara sekaligus — dan alat musik dua-stem tidak punya track untuk menampung sebagian besar suara itu. Yang dibutuhkan video adalah pemisahan audio multi-track: ucapan, musik, reaksi, dan ambience, masing-masing pada track-nya sendiri, dengan tiap pembicara tetap terpisah.

Artikel ini menjelaskan di mana pendekatan alat musik ini runtuh pada file video, apa arti “pemisahan dialog, musik, dan efek”, dan bagaimana memeriksa kualitas sebenarnya dari sebuah alat pemisahan menggunakan benchmark yang dipublikasikan alih-alih klaim marketing.

Sebenarnya vocal remover dibuat untuk apa?

Vocal remover adalah alat pemisahan sumber (source separation) yang dilatih pada lagu. Alat seperti LALAL.AI dan Moises melakukannya dengan baik: beri mereka sebuah track jadi, dan mereka mengembalikan stem vokal dan instrumental yang bersih untuk karaoke, sampling, remix, atau latihan. Dalam tugas itu, mereka luar biasa — ini bukan kelemahan produk-produk tersebut.

Ketidakcocokan muncul ketika inputnya bukan lagu. Take vlog seorang kreator, rekaman podcast, wawancara di kafe yang ramai — file-file ini berisi ucapan alih-alih nyanyian, beberapa sumber suara yang berbunyi bersamaan, dan sering kali lebih dari satu suara. Alat yang hanya punya wadah “vokal” dan “instrumental” harus memaksa setiap suara ke salah satu dari keduanya, dan hasilnya adalah track ucapan dengan tawa yang tercoreng di dalamnya, atau track “instrumental” yang masih membawa separuh percakapan.

Sebenarnya audio video berisi apa?

Profesional pascaproduksi menggambarkan audio film dan TV sebagai D/M/E — dialog, musik, dan efek — tiga stem yang dimiks secara terpisah dan dikirim secara terpisah justru karena alasan ini: masing-masing perlu bisa diedit sendiri-sendiri. Video yang diambil dengan ponsel menggabungkan ketiganya (plus ambience ruangan) menjadi satu track.

Jadi kebutuhan praktis untuk video bukanlah “hapus vokal”. Melainkan: merekonstruksi struktur D/M/E dari satu file yang sudah tercampur. Pemisahan Audio (Audio Separation) dari Perso Dubbing memecah file unggahan menjadi ucapan, musik latar, reaksi (tawa, tepuk tangan), dan ambience — serta menerima file video itu sendiri, MP4, MOV, atau WebM, tanpa langkah ekstraksi audio.

“Alat stem musik menjawab pertanyaan seorang musisi: di mana vokalnya?” kata Untae Bae, Product Owner di Perso Dubbing. “Kreator video menanyakan hal yang berbeda: suara mana yang ingin saya pertahankan? Itu membutuhkan lebih dari dua track.”

Bisakah suatu alat memisahkan masing-masing pembicara, bukan sekadar suara dari musik?

Inilah celah yang hampir tidak ada vocal remover mampu menutupinya: dua orang atau lebih berbicara dalam rekaman yang sama. Alat stem musik menempatkan setiap suara pada satu track vokal, sehingga sebuah wawancara, panel, atau duet tetap tergabung.

Pemisahan multi-pembicara memberikan track tersendiri untuk setiap pembicara. Itu memungkinkan Anda membisukan satu suara dari rekaman dua orang, menyeimbangkan ulang pewawancara terhadap tamu, atau membersihkan ucapan yang tumpang tindih dalam rekaman rapat. Perso Dubbing memadukan ini dengan transkripsi — pengenalan ucapan mencakup 100 bahasa — sehingga pembicara yang telah dipisahkan juga hadir dengan teks yang siap pakai.

Bagaimana cara memverifikasi kualitas pemisahan? Minta benchmark.

Alat mana pun bisa mengklaim “kualitas studio”. Hasil benchmark per sampel yang dipublikasikan adalah pengujian yang jujur. Perso Dubbing mempublikasikan angka-angkanya di halaman Pemisahan Audio:

Dua catatan jujur. Pertama, ini adalah dataset benchmark yang terkontrol; klip rooftop Anda yang penuh derau lebih sulit daripada file laboratorium, itulah sebabnya melihat pratinjau setiap track pada unggahan Anda sendiri — gratis untuk 60 detik pertama — lebih penting daripada tabel mana pun. Kedua, untuk pekerjaan stem musik murni seperti track karaoke dan stem remix, alat musik khusus tetap menjadi pilihan yang kuat; perbedaannya muncul ketika inputnya adalah video.

Vocal remover vs. pemisahan audio video: perbedaan praktisnya

Pertanyaan yang sering diajukan

Q. Bisakah saya menggunakan vocal remover pada file video?
A. Sebagian besar vocal remover mengharuskan Anda mengekstrak audio terlebih dahulu lalu hanya mengembalikan dua stem, yang menggabungkan dialog dengan tawa dan derau. Pemisah yang berfokus pada video seperti Perso Dubbing menerima MP4, MOV, dan WebM secara langsung dan mengembalikan ucapan, musik, reaksi, dan ambience sebagai track terpisah.

Q. Bagaimana cara memisahkan dua pembicara dalam satu rekaman?
A. Gunakan alat dengan pemisahan per-pembicara alih-alih pemecah stem musik. Perso Dubbing memberikan track tersendiri untuk setiap pembicara yang terdeteksi, sehingga Anda dapat membisukan, menyeimbangkan ulang, atau mengekspor satu suara mana pun dari wawancara atau rekaman rapat.

Q. Apakah hasil pemisahan audio AI benar-benar dapat diverifikasi?
A. Hanya jika alat tersebut mempublikasikan benchmark. Perso Dubbing mempublikasikan hasil per sampel — termasuk pemisahan vokal MUSDB18 (median SI-SDR 10.67 dB vs 8.36 untuk HTDemucs milik Meta) — dan menawarkan 60 detik pertama gratis sehingga Anda dapat menguji pada file Anda sendiri sebelum memercayai angka mana pun.

Lihat tabel benchmark lengkap dan coba pada footage Anda sendiri — 60 detik pertama gratis, tanpa pendaftaran. Buka Audio Separation →