SelanjutnyaPanduan berikutnya
Penyematan Audio dan Pembelajaran Representasi
AI Audio
PANDUAN Audio AI
Kompresi Audio EnCodec
EnCodec adalah codec audio saraf fidelitas tinggi dari Meta yang memampatkan ucapan dan musik pada bitrate sangat rendah dengan kualitas yang menyaingi format yang jauh lebih berat.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
It matters because it underpins modern generative audio systems and ships in open-source form for anyone to use.
Menyelam Lebih Dalam
Dirilis oleh Meta AI pada tahun 2022, EnCodec mengikuti cetak biru SoundStream dari encoder, residual vector quantizer (RVQ), dan decoder yang dilatih secara menyeluruh, tetapi menambahkan beberapa penyempurnaan. Ia menggunakan encoder konvolusional berkemampuan streaming, spektogram multi-skala dan kerugian rekonstruksi domain waktu, dan diskriminator permusuhan untuk kualitas persepsi. Kontribusi penting adalah model entropi kecil berbasis Transformer yang selanjutnya memampatkan kode terkuantisasi tanpa kehilangan, mengeluarkan bit tambahan tanpa kehilangan kualitas. EnCodec juga memperkenalkan penyeimbang yang secara otomatis menskalakan banyak kerugian pelatihan yang bersaing agar tetap stabil. Ini menangani audio monofonik 24 kHz dan stereo 48 kHz, beroperasi pada bitrate seperti 1,5, 3, 6, dan 12 kbps, dan pada 6 kbps mencapai kualitas yang sebanding dengan MP3 pada 64 kbps. Tokennya memberdayakan MusicGen dan AudioGen Meta.
Implementasi Dunia Nyata
Tokenisasi audio untuk generator teks-ke-audio MusicGen dan AudioGen Meta
Mengompresi ucapan 24 kHz menjadi 1,5-6 kbps untuk transmisi dengan bandwidth terbatas
Mengkodekan musik stereo 48 kHz dengan kualitas mendekati MP3 pada bitrate yang jauh lebih tinggi
Berfungsi sebagai codec drop-in sumber terbuka untuk penelitian dan pipeline audio ML melalui pos pemeriksaan yang dirilis
Masa Depan Kompresi Audio EnCodec
EnCodec sudah menjadi tokenizer default untuk beberapa model audio generatif terbuka, dan turunannya mendorong fidelitas yang lebih tinggi pada bitrate yang lebih rendah, rekonstruksi stereo penuh dan tingkat musik, serta integrasi yang lebih erat dengan generator teks-ke-audio dan teks-ke-musik. Harapkan adopsi yang lebih luas dalam komunikasi bandwidth rendah, streaming waktu nyata, dan sebagai lapisan 'token audio' standar yang memungkinkan arsitektur bergaya model bahasa besar membaca dan menulis suara.
Mempraktikkannya
Mengapa itu penting
- Akses dan jangkauan. Ini meningkatkan aksesibilitas melalui transkripsi, narasi, dan antarmuka suara.
- Biaya dan anggaran. Tim media dapat mengirimkan audio yang bagus lebih cepat dengan anggaran lebih kecil.
- Kecepatan dan skala. Sistem yang berhubungan dengan pelanggan dapat memproses interaksi lisan dalam skala yang lebih besar.
Hati-hati
- Risiko penyalahgunaan suara dan peniruan identitas meningkat jika tidak ada persetujuan.
- Akurasi dapat menurun pada aksen, dialek, atau lingkungan yang bising.
- Audio sintetis dapat disalahartikan sebagai ucapan asli tanpa label yang jelas.
Langkah selanjutnya
- Dapatkan persetujuan eksplisit untuk pengambilan suara, kloning, dan penggunaan kembali.
- Uji kualitas di beragam speaker dan kondisi latar belakang.
- Tentukan kapan manusia harus meninjau atau menyetujui keluaran.
- Beri label pada audio sintetis dan simpan catatan asalnya untuk akuntabilitas.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the EnCodec Audio Compression quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is EnCodec Audio Compression?
EnCodec adalah codec audio saraf fidelitas tinggi dari Meta yang memampatkan ucapan dan musik pada bitrate sangat rendah dengan kualitas yang menyaingi format yang jauh lebih berat. Ini penting karena mendukung sistem audio generatif modern dan dikirimkan dalam bentuk sumber terbuka untuk digunakan siapa saja.
Organisasi manakah yang merilis EnCodec?
EnCodec diperkenalkan oleh Meta AI (FAIR) pada tahun 2022 sebagai codec audio neural dengan fidelitas tinggi.
Komponen tambahan apa yang ditambahkan EnCodec untuk memeras lebih banyak kompresi dari tokennya?
EnCodec melatih Transformer kecil untuk memprediksi probabilitas token dan mengkodekannya secara aritmatika, sehingga mencapai kompresi lossless tambahan di atas RVQ.
Pada kecepatan sekitar 6 kbps, kualitas EnCodec dilaporkan sebanding dengan MP3 pada kecepatan bit berapa?
EnCodec pada 6 kbps mencapai kualitas subjektif serupa dengan MP3 pada 64 kbps, peningkatan efisiensi yang besar.
Masalah apa yang dipecahkan oleh 'penyeimbang' EnCodec selama pelatihan?
Dengan banyak kerugian (rekonstruksi, spektral, permusuhan), penyeimbang mengubah skala gradiennya sehingga tidak ada satu tujuan pun yang mendominasi, sehingga menstabilkan pelatihan.
Metode kuantisasi inti manakah yang dibagikan EnCodec dengan SoundStream?
Seperti SoundStream, EnCodec menggunakan kuantisasi vektor sisa untuk mendiskritisasi penyematan encoder ke dalam indeks buku kode bertumpuk.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini