SelanjutnyaPanduan berikutnya
Normalisasi Teks untuk Ucapan
AI Audio
PANDUAN Audio AI
Pidato Dupleks Penuh Moshi
Moshi adalah AI suara real-time bersumber terbuka dari Kyutai yang berbicara dan mendengarkan secara bersamaan — full-duplex — alih-alih bergantian.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Itu menghilangkan lag yang canggung dan turn-taking yang kaku pada asisten suara tradisional.
Menyelam Lebih Dalam
Moshi, yang dirilis oleh lab Prancis Kyutai pada tahun 2024, adalah model dasar ucapan-ke-ucapan yang dibuat untuk percakapan alami dan berlatensi rendah. Tidak seperti asisten pipeline yang menghubungkan ucapan-ke-teks, lalu model bahasa, lalu teks-ke-ucapan, Moshi menangani audio secara langsung dan terus-menerus. Ide utamanya adalah dupleks penuh: ia memodelkan dua aliran audio secara bersamaan — milik pengguna dan miliknya sendiri — sehingga dapat mendengarkan sambil berbicara, menangani interupsi, saluran balik dengan 'mhm,' dan tumpang tindih secara alami seperti yang dilakukan manusia. Ini mencapai latensi sekitar 160-200 milidetik, jauh di bawah jeda asisten pada umumnya. Di balik itu, ia memasangkan model bahasa teks dan audio (Helium) parameter 7B dengan Mimi, codec audio saraf yang memampatkan ucapan menjadi token terpisah yang dapat dihasilkan oleh model tersebut. Kyutai merilis bobot dan kode secara terbuka.
Implementasi Dunia Nyata
Pendamping suara bebas genggam yang dapat Anda sela di tengah kalimat, dengan balasan dalam waktu kurang dari 200 milidetik.
Buka dasar penelitian untuk mempelajari dialog lisan dupleks penuh secara real-time tanpa kotak hitam eksklusif.
Asisten aksesibilitas yang berkomunikasi dengan lancar dengan pengguna yang membutuhkan komunikasi bolak-balik yang cepat dan alami.
Membuat prototipe bot suara layanan pelanggan yang dapat diinterupsi yang menyalurkan kembali dan bereaksi saat penelepon masih berbicara.
Masa Depan Pidato Dupleks Penuh Moshi
Pemodelan full-duplex menjadi template untuk AI suara alami, yang memengaruhi sistem di seluruh industri. Harapkan versi yang lebih kecil di perangkat, dukungan multibahasa, latensi lebih rendah, dan integrasi ke dalam agen, layanan pelanggan, dan alat aksesibilitas. Karena Moshi terbuka, peneliti dapat menyelidiki dan memperbaikinya dengan bebas. Tantangan yang ada masih seputar keandalan faktual, keamanan dalam tuturan yang tumpang tindih, dan nuansa emosional, namun peralihan dari percakapan yang kaku ke percakapan yang lancar dan dapat disela kemungkinan besar akan bersifat permanen.
Mempraktikkannya
Mengapa itu penting
- Akses dan jangkauan. Ini meningkatkan aksesibilitas melalui transkripsi, narasi, dan antarmuka suara.
- Biaya dan anggaran. Tim media dapat mengirimkan audio yang bagus lebih cepat dengan anggaran lebih kecil.
- Kecepatan dan skala. Sistem yang berhubungan dengan pelanggan dapat memproses interaksi lisan dalam skala yang lebih besar.
Hati-hati
- Risiko penyalahgunaan suara dan peniruan identitas meningkat jika tidak ada persetujuan.
- Akurasi dapat menurun pada aksen, dialek, atau lingkungan yang bising.
- Audio sintetis dapat disalahartikan sebagai ucapan asli tanpa label yang jelas.
Langkah selanjutnya
- Dapatkan persetujuan eksplisit untuk pengambilan suara, kloning, dan penggunaan kembali.
- Uji kualitas di beragam speaker dan kondisi latar belakang.
- Tentukan kapan manusia harus meninjau atau menyetujui keluaran.
- Beri label pada audio sintetis dan simpan catatan asalnya untuk akuntabilitas.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Moshi Full-Duplex Speech quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa itu Moshi Full-Duplex Speech?
Moshi adalah AI suara real-time bersumber terbuka dari Kyutai yang berbicara dan mendengarkan secara bersamaan — full-duplex — alih-alih bergantian. Hal ini menghilangkan kelambatan yang canggung dan pengambilan giliran yang kaku pada asisten suara tradisional.
Apa yang dimaksud dengan 'dupleks penuh' dalam konteks Moshi?
Dupleks penuh berarti model menangani audio masuk dan keluar secara bersamaan, sehingga dapat mendengarkan sambil berbicara dan menangani interupsi secara alami.
Organisasi mana yang melepaskan Moshi?
Moshi dikembangkan dan dijadikan sumber terbuka oleh Kyutai, laboratorium penelitian AI Prancis, pada tahun 2024.
Apa itu Mimi dalam sistem Moshi?
Mimi adalah codec audio saraf yang memampatkan ucapan berkelanjutan menjadi aliran token diskrit dengan kecepatan bit rendah yang dapat dihasilkan model.
Apa perbedaan Moshi dengan saluran pipa asisten suara tradisional?
Asisten tradisional merangkai ucapan-ke-teks, model bahasa, dan teks-ke-ucapan; Moshi adalah model ucapan-ke-ucapan tunggal yang menangani audio secara terus menerus.
Kira-kira berapa latensi percakapan yang ditargetkan Moshi?
Moshi mencapai latensi sekitar 160-200 ms, jauh lebih rendah dibandingkan asisten suara pada umumnya, sehingga memungkinkan tumpang tindih dan interupsi alami.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini