SeterusnyaPanduan seterusnya
Pemisahan Sumber Muzik Demucs
AI Audio
PANDUAN AI Audio
Pemisahan Pertuturan dan Masalah Pesta Koktel
Pemisahan pertuturan ialah tugas untuk menarik suara individu selain daripada rakaman di mana beberapa orang bercakap serentak.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
It tackles the 'cocktail party problem' that humans solve effortlessly but machines find genuinely hard.
Menyelam dalam
Pada pesta yang bising, anda boleh menumpukan perhatian pada satu perbualan sambil menapis yang lain, kebolehan ahli psikologi Colin Cherry menamakan 'masalah pesta koktel' pada tahun 1953. Komputer bergelut kerana suara yang bertindih bercampur menjadi satu bentuk gelombang, dan sistem tidak mengetahui terlebih dahulu berapa banyak pembesar suara yang wujud atau bunyi mana kepunyaan siapa. Algoritma pemisahan pertuturan mengambil audio bercampur itu dan mengeluarkan trek yang bersih dan berasingan untuk setiap pembesar suara. Pendekatan awal menggunakan kaedah statistik dan tatasusunan mikrofon untuk mengeksploitasi isyarat spatial. Kejayaan itu datang dengan model pembelajaran mendalam seperti Deep Clustering dan TasNet/Conv-TasNet, yang belajar untuk menutup atau membina semula setiap suara secara langsung daripada bentuk gelombang, walaupun dengan satu mikrofon.
Pelaksanaan Dunia Sebenar
Alat transkripsi pertemuan memisahkan pembesar suara bertindih supaya perkataan setiap orang dikaitkan dengan betul dalam nota.
Alat bantu pendengaran canggih mengasingkan seorang pembicara di restoran yang sesak untuk memudahkan perbualan bagi pemakainya.
Pengeluaran muzik dan podcast menggunakan pemisahan untuk memisahkan vokal daripada instrumen atau meleraikan crosstalk antara hos.
Saluran paip pengecaman pertuturan mengasingkan audio campuran supaya setiap suara boleh ditranskripsi dengan tepat.
Masa Depan Pemisahan Pertuturan dan Masalah Pesta Koktel
Pemisahan bergerak ke arah keadaan dunia nyata yang terbuka: bilangan pembesar suara yang tidak diketahui dan berubah-ubah, bilik berkumandang dan audio penstriman berterusan. Pengekstrakan pembesar suara sasaran, di mana anda memberi model sampel suara pendek untuk menarik keluar hanya orang itu, meningkat dengan pantas. Model audio-visual gabungan menggunakan pergerakan bibir untuk menyahkekaburan suara. Jangkakan keupayaan ini tertanam dalam alat bantu pendengaran, fon telinga dan transkripsi mesyuarat, membolehkan peranti menonjolkan sesiapa sahaja yang anda mahu dengar.
Mempraktikkannya
Mengapa ia penting
- Akses dan capai. Ia meningkatkan kebolehcapaian melalui transkripsi, narasi dan antara muka suara.
- Kos dan bajet. Pasukan media boleh menghantar audio yang digilap dengan lebih pantas dengan belanjawan yang lebih kecil.
- Kelajuan dan skala. Sistem yang menghadapi pelanggan boleh memproses interaksi pertuturan pada skala yang lebih besar.
Berhati-hati untuk
- Penyalahgunaan suara dan risiko penyamaran meningkat apabila tiada kebenaran.
- Ketepatan boleh menurun merentas aksen, dialek atau persekitaran yang bising.
- Audio sintetik boleh disalah anggap sebagai pertuturan tulen tanpa pelabelan yang jelas.
Langkah seterusnya
- Dapatkan persetujuan yang jelas untuk menangkap suara, pengklonan dan penggunaan semula.
- Uji kualiti merentas pelbagai pembesar suara dan keadaan latar belakang.
- Tentukan bila manusia mesti menyemak atau meluluskan output.
- Labelkan audio sintetik dan simpan rekod asal untuk kebertanggungjawaban.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Speech Separation and the Cocktail Party Problem quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
What is Speech Separation and the Cocktail Party Problem?
Pemisahan pertuturan ialah tugas untuk menarik suara individu selain daripada rakaman di mana beberapa orang bercakap serentak. Ia menangani 'masalah pesta koktel' yang manusia selesaikan dengan mudah tetapi mesin mendapati sukar.
Apakah 'masalah pesta koktel'?
Dicipta oleh Colin Cherry pada tahun 1953, ia menggambarkan cabaran untuk menghadiri penceramah tunggal apabila ramai orang bercakap serentak.
Apakah output sistem pemisahan pertuturan yang diberikan rakaman bercampur beberapa pembesar suara?
Pemisahan menghasilkan satu aliran bersih bagi setiap pembesar suara, meleraikan suara yang bertindih dalam campuran.
Apakah yang dilakukan oleh Conv-TasNet secara berbeza daripada banyak kaedah pemisahan terdahulu?
Conv-TasNet menggunakan pengekod yang dipelajari pada audio mentah dan bukannya spektrogram tetap, mendayakan pemisahan kesetiaan tinggi dan kependaman rendah.
Bagaimanakah banyak rangkaian pemisahan mengasingkan suara individu daripada campuran?
Model meramalkan topeng setiap pembesar suara; menerapkannya pada campuran mengekalkan kandungan pembesar suara itu dan menyekat selebihnya.
Apakah 'pengeluaran pembesar suara sasaran'?
Daripada memisahkan semua orang, anda memberikan isyarat suara dan model mengekstrak pembesar suara sasaran itu sahaja.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini