Pidato Dupleks Penuh Moshi
Moshi adalah AI suara real-time bersumber terbuka dari Kyutai yang berbicara dan mendengarkan secara bersamaan — full-duplex — alih-alih bergantian.
Ikhtisar
That removes the awkward lag and rigid turn-taking of traditional voice assistants.
Menyelam Lebih Dalam
Moshi, yang dirilis oleh lab Prancis Kyutai pada tahun 2024, adalah model dasar ucapan-ke-ucapan yang dibuat untuk percakapan alami dan berlatensi rendah. Tidak seperti asisten pipeline yang menghubungkan ucapan-ke-teks, lalu model bahasa, lalu teks-ke-ucapan, Moshi menangani audio secara langsung dan terus-menerus. Ide utamanya adalah dupleks penuh: ia memodelkan dua aliran audio secara bersamaan — milik pengguna dan miliknya sendiri — sehingga dapat mendengarkan sambil berbicara, menangani interupsi, saluran balik dengan 'mhm,' dan tumpang tindih secara alami seperti yang dilakukan manusia. Ini mencapai latensi sekitar 160-200 milidetik, jauh di bawah jeda asisten pada umumnya. Di balik itu, ia memasangkan model bahasa teks dan audio (Helium) parameter 7B dengan Mimi, codec audio saraf yang memampatkan ucapan menjadi token terpisah yang dapat dihasilkan oleh model tersebut. Kyutai merilis bobot dan kode secara terbuka.
Wawasan Teknis
Trik Moshi adalah codec Mimi-nya, yang mengubah audio kontinu menjadi aliran token diskrit dengan kecepatan bit rendah pada 12,5 Hz, termasuk token semantik sulingan. Model bahasa memprediksi token ucapannya sendiri dan aliran paralel waktu pengguna, sehingga generasi tidak perlu berhenti untuk 'mendengarkan'. Metode 'Inner Monologue' memprediksi teks sebelum audio, sehingga meningkatkan kualitas linguistik dan koherensi dari apa yang sebenarnya dikatakan Moshi.
Dampak Strategis
Access and reach
Ini meningkatkan aksesibilitas melalui transkripsi, narasi, dan antarmuka suara.
Cost and budget
Tim media dapat mengirimkan audio yang bagus lebih cepat dengan anggaran lebih kecil.
Kecepatan dan skala
Sistem yang berhubungan dengan pelanggan dapat memproses interaksi lisan dalam skala yang lebih besar.
Masa Depan Pidato Dupleks Penuh Moshi
Pemodelan full-duplex menjadi template untuk AI suara alami, yang memengaruhi sistem di seluruh industri. Harapkan versi yang lebih kecil di perangkat, dukungan multibahasa, latensi lebih rendah, dan integrasi ke dalam agen, layanan pelanggan, dan alat aksesibilitas. Karena Moshi terbuka, peneliti dapat menyelidiki dan memperbaikinya dengan bebas. Tantangan yang ada masih seputar keandalan faktual, keamanan dalam tuturan yang tumpang tindih, dan nuansa emosional, namun peralihan dari percakapan yang kaku ke percakapan yang lancar dan dapat disela kemungkinan besar akan bersifat permanen.
Implementasi Dunia Nyata
Pendamping suara bebas genggam yang dapat Anda sela di tengah kalimat, dengan balasan dalam waktu kurang dari 200 milidetik.
Buka dasar penelitian untuk mempelajari dialog lisan dupleks penuh secara real-time tanpa kotak hitam eksklusif.
Asisten aksesibilitas yang berkomunikasi dengan lancar dengan pengguna yang membutuhkan komunikasi bolak-balik yang cepat dan alami.
Membuat prototipe bot suara layanan pelanggan yang dapat diinterupsi yang menyalurkan kembali dan bereaksi saat penelepon masih berbicara.
Risiko & Pagar Pembatas
Risiko penyalahgunaan suara dan peniruan identitas meningkat jika tidak ada persetujuan.
Akurasi dapat menurun pada aksen, dialek, atau lingkungan yang bising.
Audio sintetis dapat disalahartikan sebagai ucapan asli tanpa label yang jelas.
Peta Jalan Implementasi
Dapatkan persetujuan eksplisit untuk pengambilan suara, kloning, dan penggunaan kembali.
Uji kualitas di beragam speaker dan kondisi latar belakang.
Tentukan kapan manusia harus meninjau atau menyetujui keluaran.
Beri label pada audio sintetis dan simpan catatan asalnya untuk akuntabilitas.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Moshi Full-Duplex Speech quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Normalisasi Teks untuk Ucapan
Pertanyaan yang sering diajukan
What is Moshi Full-Duplex Speech?
Moshi adalah AI suara real-time bersumber terbuka dari Kyutai yang berbicara dan mendengarkan secara bersamaan — full-duplex — alih-alih bergantian. Hal ini menghilangkan kelambatan yang canggung dan pengambilan giliran yang kaku pada asisten suara tradisional.
Apa yang dimaksud dengan 'dupleks penuh' dalam konteks Moshi?
Dupleks penuh berarti model menangani audio masuk dan keluar secara bersamaan, sehingga dapat mendengarkan sambil berbicara dan menangani interupsi secara alami.
Organisasi mana yang melepaskan Moshi?
Moshi dikembangkan dan dijadikan sumber terbuka oleh Kyutai, laboratorium penelitian AI Prancis, pada tahun 2024.
Apa itu Mimi dalam sistem Moshi?
Mimi adalah codec audio saraf yang memampatkan ucapan berkelanjutan menjadi aliran token diskrit dengan kecepatan bit rendah yang dapat dihasilkan model.
Apa perbedaan Moshi dengan saluran pipa asisten suara tradisional?
Asisten tradisional merangkai ucapan-ke-teks, model bahasa, dan teks-ke-ucapan; Moshi adalah model ucapan-ke-ucapan tunggal yang menangani audio secara terus menerus.
Kira-kira berapa latensi percakapan yang ditargetkan Moshi?
Moshi mencapai latensi sekitar 160-200 ms, jauh lebih rendah dibandingkan asisten suara pada umumnya, sehingga memungkinkan tumpang tindih dan interupsi alami.