Kodek Audio Streaming Mimi
Mimi adalah codec audio saraf yang memampatkan ucapan menjadi aliran kecil token terpisah secara real-time, sehingga model AI dapat mendengarkan dan berbicara dengan latensi sangat rendah.
Ikhtisar
It is the audio backbone behind Kyutai's Moshi voice model.
Menyelam Lebih Dalam
Mimi, dirilis oleh lab Prancis Kyutai pada tahun 2024, adalah codec saraf yang mengubah audio 24 kHz menjadi aliran token diskrit dengan kecepatan sekitar 1,1 kbps dan hanya 12,5 token per detik. Ia menggunakan encoder-decoder dengan kuantisasi vektor sisa (RVQ), membagi token menjadi 'semantik' tingkat pertama yang disaring dari model ucapan yang diawasi sendiri (WavLM) ditambah beberapa tingkat 'akustik' yang menangkap tekstur suara. Yang terpenting, ini sepenuhnya streaming dan kausal: ia memancarkan token saat audio tiba daripada menunggu klip penuh, dengan latensi sekitar 80 ms. Hal ini memungkinkan model bahasa memperlakukan ucapan seperti token teks, memungkinkan Moshi berkomunikasi dalam dupleks penuh sambil menjaga audio yang direkonstruksi tetap jelas dan alami.
Wawasan Teknis
Trik Mimi adalah skema split-RVQ. Buku kode pertama dilatih dengan kehilangan distilasi untuk mencocokkan penyematan dari WavLM, memaksanya untuk membawa 'makna' fonetik, sementara buku kode akustik paralel merekonstruksi detail bentuk gelombang. Sebuah Transformer beroperasi di dalam kemacetan, dan kerugian adversarial (GAN) pada dekoder mempertajam kualitas keluaran. Konvolusi kausal menjaga semuanya tetap mengalir, sehingga latensi tetap mendekati 80 ms.
Dampak Strategis
Access and reach
Ini meningkatkan aksesibilitas melalui transkripsi, narasi, dan antarmuka suara.
Cost and budget
Tim media dapat mengirimkan audio yang bagus lebih cepat dengan anggaran lebih kecil.
Kecepatan dan skala
Sistem yang berhubungan dengan pelanggan dapat memproses interaksi lisan dalam skala yang lebih besar.
Masa Depan Codec Audio Streaming Mimi
Harapkan codec seperti Mimi menjadi antarmuka standar antara audio dan model bahasa besar, mendorong asisten suara real-time menuju waktu respons di bawah 100 ms. Penelitian mendorong tingkat token menjadi lebih rendah sekaligus menjaga identitas pembicara, emosi, dan musik. Karena Kyutai menggunakan Mimi dan Moshi sebagai sumber terbuka, kemungkinan besar Kyutai akan melahirkan banyak sistem open voice-to-speech, asisten pada perangkat, dan alat komunikasi suara dengan bandwidth sangat rendah.
Implementasi Dunia Nyata
Mendukung asisten suara full-duplex Moshi milik Kyutai sehingga dapat mendengarkan dan berbicara secara bersamaan
Mengalirkan token ucapan ke dalam model bahasa untuk terjemahan ucapan-ke-ucapan secara real-time
Panggilan suara dengan kecepatan bit sangat rendah (~1,1 kbps) untuk kondisi jaringan yang buruk atau padat
Tokenisasi audio untuk ucapan generatif dan alur text-to-speech yang beralasan dibandingkan suara seperti teks
Risiko & Pagar Pembatas
Risiko penyalahgunaan suara dan peniruan identitas meningkat jika tidak ada persetujuan.
Akurasi dapat menurun pada aksen, dialek, atau lingkungan yang bising.
Audio sintetis dapat disalahartikan sebagai ucapan asli tanpa label yang jelas.
Peta Jalan Implementasi
Dapatkan persetujuan eksplisit untuk pengambilan suara, kloning, dan penggunaan kembali.
Uji kualitas di beragam speaker dan kondisi latar belakang.
Tentukan kapan manusia harus meninjau atau menyetujui keluaran.
Beri label pada audio sintetis dan simpan catatan asalnya untuk akuntabilitas.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mimi Streaming Audio Codec quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Codec Audio Neural
Pertanyaan yang sering diajukan
What is Mimi Streaming Audio Codec?
Mimi adalah codec audio saraf yang memampatkan ucapan menjadi aliran kecil token terpisah secara real-time, sehingga model AI dapat mendengarkan dan berbicara dengan latensi sangat rendah. Ini adalah tulang punggung audio di balik model suara Moshi Kyutai.
Lab apa yang merilis model suara Mimi dan Moshi?
Mimi dan Moshi dirilis pada tahun 2024 oleh laboratorium penelitian Prancis Kyutai, yang menjadikan keduanya bersumber terbuka.
Kira-kira berapa banyak token per detik yang dikeluarkan Mimi untuk berbicara?
Mimi mengompresi audio 24 kHz menjadi hanya sekitar 12,5 token per detik dengan kecepatan sekitar 1,1 kbps.
Apa yang ditangkap oleh buku kode ('semantik') pertama di Mimi?
Level RVQ pertama dilatih melalui distilasi dari WavLM untuk membawa konten semantik/fonetik, sementara level selanjutnya menambahkan detail akustik.
Mengapa Mimi digambarkan sebagai 'streaming' atau 'kausal'?
Mimi memproses audio secara kausal dan mengeluarkan token secara bertahap, memberikan latensi sekitar 80 ms yang cocok untuk percakapan langsung.
Teknik kuantisasi manakah yang digunakan Mimi untuk menyandikan audio?
Mimi menggunakan kuantisasi vektor sisa, menumpuk beberapa buku kode sehingga masing-masing menambahkan detail yang lebih halus ke buku sebelumnya.