SeterusnyaPanduan seterusnya
Embeddings Perwakilan Matryoshka
AI bahasa
PANDUAN AI Audio
Pembenaman audio menukar bunyi menjadi vektor berangka padat yang menangkap makna, jadi mesin boleh membandingkan, mencari dan mengelaskan audio seperti cara manusia mengecam suara atau lagu yang biasa.
Dengar panduan iniAI-diceritakan · ~2 min
Mereka adalah enjin tersembunyi di sebalik pengecaman pertuturan, pengesyoran muzik dan carian bunyi.
Pembenaman audio ialah senarai nombor tetap (vektor) yang mewakili klip bunyi dengan cara meletakkan bunyi yang serupa berdekatan dalam ruang matematik. Dua rakaman perkataan yang sama, atau dua lagu dalam genre yang sama, berakhir berdekatan antara satu sama lain walaupun bentuk gelombang mentahnya kelihatan berbeza sama sekali. Model mempelajari benam ini dengan melatih sejumlah besar audio, selalunya tanpa label manusia. Sistem penyeliaan sendiri seperti Wav2Vec 2.0, HuBERT dan CLAP belajar dengan meramalkan ketulan audio bertopeng atau kontrastif. Setelah dilatih, pembenaman yang sama boleh digunakan semula untuk banyak tugas hiliran (ID pembesar suara, emosi, pengetegan muzik) dengan data berlabel tambahan yang sangat sedikit, itulah sebabnya pembelajaran perwakilan sangat berharga.
Apl muzik seperti Spotify menggunakan pembenaman untuk mengesyorkan lagu yang 'bunyi serupa' walaupun merentas genre dan menguasakan cap jari audio.
Apl gaya Shazam memadankan rakaman bising dengan trek dengan membandingkan cap jari benam berbanding audio mentah.
Pembesar suara dan telefon pintar menggunakan benam pembesar suara (cap suara) untuk membezakan ahli isi rumah dan memperibadikan respons.
Pusat panggilan dan alatan mesyuarat menggunakan pembenaman untuk diarisasi pembesar suara, mengenal pasti orang yang bercakap semasa dalam rakaman.
Jangkakan pembenaman audio menjadi semakin multimodal, digabungkan dengan teks dan video supaya model tunggal memahami bunyi, perkataan dan visual adegan bersama-sama. Ruang bahasa audio bersama seperti CLAP mendayakan carian bunyi bahasa semula jadi ('cari anjing menyalak berhampiran lalu lintas'). Model pembenaman pada peranti yang lebih kecil akan menguasakan ciri suara luar talian peribadi pada telefon dan fon telinga, manakala pralatihan sendiri yang lebih kaya terus mengurangkan jumlah data berlabel yang diperlukan untuk bahasa baharu dan acara akustik yang jarang berlaku.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Pembenaman audio menukar bunyi menjadi vektor berangka padat yang menangkap makna, jadi mesin boleh membandingkan, mencari dan mengelaskan audio seperti cara manusia mengecam suara atau lagu yang biasa. Mereka adalah enjin tersembunyi di sebalik pengecaman pertuturan, pengesyoran muzik dan carian bunyi.
Pembenaman ialah vektor berangka padat yang meletakkan klip bunyi serupa berdekatan dalam ruang matematik, menangkap makna dan bukannya sampel mentah sahaja.
Kaedah penyeliaan sendiri seperti Wav2Vec 2.0 dan HuBERT belajar daripada sejumlah besar audio tidak berlabel, jadi tugas hiliran memerlukan data berlabel yang jauh lebih sedikit.
Wav2Vec 2.0 menggunakan objektif kontrastif bertopeng: ia menyembunyikan rentang audio dan belajar mengenal pasti unit terpendam yang betul berbanding gangguan.
CLAP (Contrastive Language-Audio Pretraining) mempelajari ruang bersama tempat klip audio dan huraian teksnya mendarat rapat, membolehkan carian bunyi berasaskan teks.
Bentuk gelombang mentah mempunyai berjuta-juta sampel, jadi audio biasanya ditukar kepada spektrogram atau melalui penapis bahagian hadapan yang dipelajari sebelum rangkaian utama.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Embeddings Perwakilan Matryoshka
AI bahasa