DalšíDalší průvodce
Normalizace textu pro řeč
Zvuková AI
Zvukový průvodce AI
Moshi je open source hlasová umělá inteligence v reálném čase od společnosti Kyutai, která mluví a poslouchá současně – plně duplexně – místo toho, aby se striktně střídala.
Poslechněte si tento návodAI-vyprávěný · ~2 min
That removes the awkward lag and rigid turn-taking of traditional voice assistants.
Moshi, vydaný francouzskou laboratoří Kyutai v roce 2024, je základní model řeči na řeč vytvořený pro přirozenou konverzaci s nízkou latencí. Na rozdíl od zřetězených asistentů, kteří řetězí převod řeči na text, pak jazykový model a pak převod textu na řeč, Moshi zpracovává zvuk přímo a nepřetržitě. Jeho klíčová myšlenka je plně duplexní: modeluje dva zvukové proudy současně – uživatelský a svůj vlastní – takže může poslouchat při mluvení, zvládnout přerušení, zpětný kanál s „mhm“ a přirozeně se překrývat jako lidé. Dosahuje latence kolem 160-200 milisekund, což je hluboko pod typickým zpožděním asistenta. Pod kapotou spáruje 7B-parametrový textový a zvukový jazykový model (Helium) s Mimi, neuronovým zvukovým kodekem, který komprimuje řeč do diskrétních tokenů, které může model generovat. Kyutai otevřeně uvolnil závaží a kód.
Hlasový společník handsfree, kterého můžete přerušit uprostřed věty, s odpověďmi do 200 milisekund.
Otevřený výzkumný základ pro studium plně duplexního mluveného dialogu v reálném čase bez proprietárních černých skříněk.
Asistenti usnadnění, kteří plynule konverzují s uživateli, kteří potřebují rychlé a přirozené přemisťování tam a zpět.
Prototypování přerušitelných hlasových robotů zákaznických služeb, které backchannelují a reagují, zatímco volající stále mluví.
Plně duplexní modelování se stává šablonou pro přirozenou hlasovou umělou inteligenci, která ovlivňuje systémy v celém odvětví. Očekávejte menší verze na zařízení, vícejazyčnou podporu, nižší latenci a integraci do agentů, zákaznických služeb a nástrojů pro usnadnění. Protože je Moshi otevřená, vědci ji mohou volně zkoumat a vylepšovat. Výzvy přetrvávají kolem faktické spolehlivosti, bezpečnosti v překrývajících se řečech a emocionálních nuancí, ale posun od strnulého obratu k plynulé, přerušitelné konverzaci je pravděpodobně trvalý.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Moshi je open source hlasová umělá inteligence v reálném čase od společnosti Kyutai, která mluví a poslouchá současně – plně duplexně – místo toho, aby se striktně střídala. To odstraňuje nepříjemné zpoždění a strnulé otáčení tradičních hlasových asistentů.
Full-duplex znamená, že model zpracovává příchozí a odchozí zvuk současně, takže může poslouchat při mluvení a přirozeně zvládat přerušení.
Moshi byl vyvinut a open source společností Kyutai, francouzskou výzkumnou laboratoří AI, v roce 2024.
Mimi je neurální zvukový kodek, který komprimuje souvislou řeč do proudu diskrétních tokenů s nízkou bitovou rychlostí, které může model generovat.
Tradiční asistenti řetězí převod řeči na text, jazykový model a převod textu na řeč; Moshi je jediný model převodu řeči na řeč, který nepřetržitě zpracovává zvuk.
Moshi dosahuje latence kolem 160-200 ms, což je mnohem méně než u typických hlasových asistentů, což umožňuje přirozené překrývání a přerušení.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Normalizace textu pro řeč
Zvuková AI