SeterusnyaPanduan seterusnya
Pengetegan Auto Muzik
AI Audio
PANDUAN AI Audio
Penandaan Muzik dengan Transformers
Pengetegan muzik memberikan satu atau lebih label deskriptif kepada segmen audio.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Sistem penyelidikan berbeza dalam perwakilan input, penyeliaan, label dan tugas penilaian.
Menyelam dalam
Pengetegan muzik ialah tugas pengelasan berbilang label kerana berbilang label mungkin digunakan pada satu klip. Kertas AST menggunakan spektrogram log-Mel yang dipecahkan kepada tompok untuk pengelas audio berasaskan perhatian yang bebas konvolusi. MERT menggunakan sasaran pseudo yang disediakan oleh guru dalam objektif pralatihan gaya pemodelan bahasa bertopeng dan melaporkan penilaian merentas 14 tugasan memahami muzik. Pralatihannya secara rawak memotong audio kepada segmen 5 saat, jadi keputusannya tidak menunjukkan pemodelan langsung korus dan ayat yang selang beberapa minit. MagnaTagATune ialah satu set data yang digunakan untuk penyelidikan pengetegan muzik. CLAP ialah model teks audio kontrastif berasingan yang dinilai pada beberapa tugas hiliran; keputusan sifar pukulan bergantung pada label dan persediaan penilaian.
Pelaksanaan Dunia Sebenar
Bandingkan model penandaan berasaskan spektrogram dan berasaskan bentuk gelombang pada set data berlabel yang sama.
Nilaikan ramalan berbilang label dengan metrik kedudukan seperti purata ketepatan min.
Asingkan latihan prapenyeliaan sendiri daripada penalaan halus hiliran semasa mendokumentasikan model.
Semak tempoh dan protokol pensampelan yang digunakan oleh setiap model.
Masa Depan Penandaan Muzik dengan Transformers
Arah penyelidikan yang berpotensi termasuk menguji perwakilan muzik konteks yang lebih panjang dan menilai pemindahan merentas teg, set data dan genre. Ini adalah soalan penilaian terbuka dan bukannya dakwaan tentang penerimaan atau prestasi semasa.
Mempraktikkannya
Mengapa ia penting
- Akses dan capai. Ia meningkatkan kebolehcapaian melalui transkripsi, narasi dan antara muka suara.
- Kos dan bajet. Pasukan media boleh menghantar audio yang digilap dengan lebih pantas dengan belanjawan yang lebih kecil.
- Kelajuan dan skala. Sistem yang menghadapi pelanggan boleh memproses interaksi pertuturan pada skala yang lebih besar.
Berhati-hati untuk
- Penyalahgunaan suara dan risiko penyamaran meningkat apabila tiada kebenaran.
- Ketepatan boleh menurun merentas aksen, dialek atau persekitaran yang bising.
- Audio sintetik boleh disalah anggap sebagai pertuturan tulen tanpa pelabelan yang jelas.
Langkah seterusnya
- Dapatkan persetujuan yang jelas untuk menangkap suara, pengklonan dan penggunaan semula.
- Uji kualiti merentas pelbagai pembesar suara dan keadaan latar belakang.
- Tentukan bila manusia mesti menyemak atau meluluskan output.
- Labelkan audio sintetik dan simpan rekod asal untuk kebertanggungjawaban.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Music Tagging with Transformers quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah Pengetegan Muzik dengan Transformers?
Pengetegan muzik memberikan satu atau lebih label deskriptif kepada segmen audio. Sistem penyelidikan berbeza dalam perwakilan input, penyeliaan, label dan tugas penilaian.
Mengapa penandaan muzik dianggap sebagai masalah berbilang label?
Lagu boleh menjadi rock, bertenaga dan dipacu gitar secara serentak, jadi berbilang tag digunakan pada satu lagu.
Dalam kertas Audio Spectrogram Transformer, apakah perwakilan audio yang dibahagikan kepada tampalan?
AST beroperasi pada tompok spektrogram; khususnya, ia menggunakan spektrogram log-Mel sebagai perwakilan inputnya. Soalan ini merangkumi kaedah AST yang disebut, bukan semua penanda transformer.
Mengapakah model penandaan muzik menggunakan output sigmoid setiap teg dan bukannya satu softmax?
Softmax memaksa kebarangkalian untuk menjumlahkan kepada satu (pilihan tunggal); sigmoid membenarkan setiap teg adalah benar secara bebas.
Apakah peranan pralatihan diselia sendiri untuk model seperti MERT?
Pralatihan mengenai ramalan audio bertopeng ke atas korpora besar tidak berlabel membina perwakilan kemudian diperhalusi pada data yang ditag.
Set data manakah yang biasa digunakan untuk memperhalusi dan menanda aras penanda muzik?
MagnaTagATune dan Million Song Dataset ialah tanda aras muzik yang ditag standard; MNIST dan ImageNet ialah set imej.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini