LegközelebbKövetkező útmutató
Szövegnormalizálás a beszédhez
Hangalapú AI
Audio AI ÚTMUTATÓ
A Moshi a Kyutai nyílt forráskódú, valós idejű hangos AI-ja, amely egyszerre beszél és hallgat – full-duplex – ahelyett, hogy szigorúan váltana.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez megszünteti a hagyományos hangasszisztensek kínos késését és merev fordulatát.
A francia Kyutai laboratórium által 2024-ben kiadott Moshi egy beszéd-beszéd alapmodell, amelyet természetes, alacsony késleltetésű beszélgetésre építettek. Ellentétben a beszédet szöveggé, majd egy nyelvi modellt, majd a szöveget beszédté láncoló pipeline asszisztensekkel, a Moshi közvetlenül és folyamatosan kezeli a hangot. A kulcsötlet a full duplex: egyszerre két hangfolyamot – a felhasználóét és a sajátját – modellezi, így beszéd közben hallgathat, kezelheti a megszakításokat, visszacsatornázhat „mhm”-mel, és természetes módon átfedheti egymást, mint az emberek. Körülbelül 160-200 milliszekundumot ér el, ami messze elmarad a tipikus asszisztensi késéstől. A motorháztető alatt egy 7B-paraméteres szöveg- és hangnyelvi modellt (Hélium) párosít a Mimi-vel, egy neurális audiokodekkel, amely a beszédet a modell által generált diszkrét tokenekké tömöríti. Kyutai nyíltan kiadta a súlyokat és a kódot.
Egy kihangosított hangtárs, amellyel a mondat közepén megszakíthatja a választ, és 200 ezredmásodperc alatti válaszokat ad.
Nyílt kutatási alapvonal a valós idejű, full-duplex beszélt párbeszéd tanulmányozásához szabadalmaztatott fekete dobozok nélkül.
Kisegítő lehetőségek, amelyek gördülékenyen beszélgetnek azokkal a felhasználókkal, akiknek gyors, természetes oda-vissza kapcsolatra van szükségük.
Megszakítható ügyfélszolgálati hangbotok prototípusa, amelyek visszacsatornáznak és reagálnak, miközben a hívó még beszél.
A full-duplex modellezés a természetes hangalapú mesterséges intelligencia sablonjává válik, és az egész iparágban befolyásolja a rendszereket. Kisebb, eszközön található verziókra, többnyelvű támogatásra, alacsonyabb késleltetésre, valamint ügynökökbe, ügyfélszolgálati és kisegítő lehetőségekbe való integrációra számíthat. Mivel a Moshi nyitott, a kutatók szabadon vizsgálhatják és javíthatják. Kihívások maradnak a ténybeli megbízhatóság, az átfedő beszéd biztonsága és az érzelmi árnyalatok körül, de a merev fordulatfelvételről a folyékony, megszakítható beszélgetésre való elmozdulás valószínűleg állandó.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Moshi a Kyutai nyílt forráskódú, valós idejű hangos AI-ja, amely egyszerre beszél és hallgat – full-duplex – ahelyett, hogy szigorúan váltana. Ez megszünteti a hagyományos hangasszisztensek kínos késését és merev fordulatát.
A teljes duplex funkció azt jelenti, hogy a modell egyszerre kezeli a bejövő és a kimenő hangot, így beszéd közben is tud hallgatni, és természetesen kezeli a megszakításokat.
A Moshi-t a Kyutai, egy francia mesterséges intelligenciakutató laboratórium fejlesztette ki és nyitotta meg 2024-ben.
A Mimi az a neurális audiokodek, amely a folyamatos beszédet a modell által generált diszkrét tokenek alacsony bitsebességű folyamává tömöríti.
A hagyományos asszisztensek beszédet szöveggé, nyelvi modellt és szöveget beszédké láncolnak; A Moshi egyetlen beszéd-beszéd modell, amely folyamatosan kezeli a hangot.
A Moshi 160-200 ms körüli késleltetést ér el, ami jóval alacsonyabb, mint a tipikus hangasszisztensek, így természetes átfedést és megszakítást tesz lehetővé.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Szövegnormalizálás a beszédhez
Hangalapú AI