Zvukový průvodce AI

Plně duplexní řeč Moshi

Moshi je open source hlasová umělá inteligence v reálném čase od společnosti Kyutai, která mluví a poslouchá současně – plně duplexně – místo toho, aby se striktně střídala.

Poslechněte si tento návodAI-vyprávěný · ~2 min

Na této stránce2 minuty čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost Moshi Full-Duplex Speech
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

That removes the awkward lag and rigid turn-taking of traditional voice assistants.

Hluboký ponor

Moshi, vydaný francouzskou laboratoří Kyutai v roce 2024, je základní model řeči na řeč vytvořený pro přirozenou konverzaci s nízkou latencí. Na rozdíl od zřetězených asistentů, kteří řetězí převod řeči na text, pak jazykový model a pak převod textu na řeč, Moshi zpracovává zvuk přímo a nepřetržitě. Jeho klíčová myšlenka je plně duplexní: modeluje dva zvukové proudy současně – uživatelský a svůj vlastní – takže může poslouchat při mluvení, zvládnout přerušení, zpětný kanál s „mhm“ a přirozeně se překrývat jako lidé. Dosahuje latence kolem 160-200 milisekund, což je hluboko pod typickým zpožděním asistenta. Pod kapotou spáruje 7B-parametrový textový a zvukový jazykový model (Helium) s Mimi, neuronovým zvukovým kodekem, který komprimuje řeč do diskrétních tokenů, které může model generovat. Kyutai otevřeně uvolnil závaží a kód.

Real-World Implementace

Hlasový společník handsfree, kterého můžete přerušit uprostřed věty, s odpověďmi do 200 milisekund.

Otevřený výzkumný základ pro studium plně duplexního mluveného dialogu v reálném čase bez proprietárních černých skříněk.

Asistenti usnadnění, kteří plynule konverzují s uživateli, kteří potřebují rychlé a přirozené přemisťování tam a zpět.

Prototypování přerušitelných hlasových robotů zákaznických služeb, které backchannelují a reagují, zatímco volající stále mluví.

Budoucnost Moshi Full-Duplex Speech

Plně duplexní modelování se stává šablonou pro přirozenou hlasovou umělou inteligenci, která ovlivňuje systémy v celém odvětví. Očekávejte menší verze na zařízení, vícejazyčnou podporu, nižší latenci a integraci do agentů, zákaznických služeb a nástrojů pro usnadnění. Protože je Moshi otevřená, vědci ji mohou volně zkoumat a vylepšovat. Výzvy přetrvávají kolem faktické spolehlivosti, bezpečnosti v překrývajících se řečech a emocionálních nuancí, ale posun od strnulého obratu k plynulé, přerušitelné konverzaci je pravděpodobně trvalý.

Uvedení do praxe

Proč na tom záleží

  • Přístup a dosah. Zlepšuje dostupnost prostřednictvím přepisu, vyprávění a hlasových rozhraní.
  • Cena a rozpočet. Mediální týmy mohou dodávat vylepšený zvuk rychleji s menšími rozpočty.
  • Rychlost a měřítko. Systémy orientované na zákazníky mohou zpracovávat mluvené interakce ve větším měřítku.

Pozor na

  • Pokud chybí souhlas, zvyšuje se riziko zneužití hlasu a předstírání jiné identity.
  • Přesnost může klesat v přízvuku, dialektech nebo hlučném prostředí.
  • Syntetický zvuk lze bez jasného označení zaměnit za autentickou řeč.

Další kroky

  1. Získejte výslovný souhlas se zachycením hlasu, klonováním a opětovným použitím.
  2. Otestujte kvalitu napříč různými reproduktory a podmínkami pozadí.
  3. Definujte, kdy musí člověk zkontrolovat nebo schválit výstupy.
  4. Označte syntetický zvuk a veďte záznamy o původu pro zajištění odpovědnosti.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Moshi Full-Duplex Speech quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

What is Moshi Full-Duplex Speech?

Moshi je open source hlasová umělá inteligence v reálném čase od společnosti Kyutai, která mluví a poslouchá současně – plně duplexně – místo toho, aby se striktně střídala. To odstraňuje nepříjemné zpoždění a strnulé otáčení tradičních hlasových asistentů.

Co znamená „full-duplex“ v kontextu Moshi?

Full-duplex znamená, že model zpracovává příchozí a odchozí zvuk současně, takže může poslouchat při mluvení a přirozeně zvládat přerušení.

Která organizace vydala Moshi?

Moshi byl vyvinut a open source společností Kyutai, francouzskou výzkumnou laboratoří AI, v roce 2024.

Co je Mimi v systému Moshi?

Mimi je neurální zvukový kodek, který komprimuje souvislou řeč do proudu diskrétních tokenů s nízkou bitovou rychlostí, které může model generovat.

Jak se Moshi liší od tradičního potrubí hlasových asistentů?

Tradiční asistenti řetězí převod řeči na text, jazykový model a převod textu na řeč; Moshi je jediný model převodu řeči na řeč, který nepřetržitě zpracovává zvuk.

Na jakou konverzační latenci se Moshi přibližně zaměřuje?

Moshi dosahuje latence kolem 160-200 ms, což je mnohem méně než u typických hlasových asistentů, což umožňuje přirozené překrývání a přerušení.