Il prossimoProssima guida
Normalizzazione del testo per il parlato
IA audio
GUIDA AI audio
Moshi è un'intelligenza artificiale vocale open source e in tempo reale di Kyutai che parla e ascolta allo stesso tempo - full duplex - invece di fare turni rigidi.
Ascolta questa guidaNarrato dall'IA · ~2 min
That removes the awkward lag and rigid turn-taking of traditional voice assistants.
Moshi, rilasciato dal laboratorio francese Kyutai nel 2024, è un modello base di sintesi vocale creato per conversazioni naturali e a bassa latenza. A differenza degli assistenti di pipeline che concatenano la sintesi vocale in testo, quindi un modello linguistico e infine la sintesi vocale, Moshi gestisce l'audio in modo diretto e continuo. La sua idea chiave è il full duplex: modella due flussi audio contemporaneamente, quello dell'utente e il suo, in modo che possa ascoltare mentre parla, gestire le interruzioni, eseguire il backchannel con "mhm" e sovrapporsi naturalmente come fanno gli esseri umani. Raggiunge una latenza di circa 160-200 millisecondi, molto al di sotto del tipico ritardo dell'assistente. Sotto il cofano accoppia un modello linguistico di testo e audio con parametri 7B (Helium) con Mimi, un codec audio neurale che comprime il parlato in token discreti che il modello può generare. Kyutai ha rilasciato apertamente i pesi e il codice.
Un'accompagnatrice vocale a mani libere che puoi interrompere a metà frase, con risposte in meno di 200 millisecondi.
Base di ricerca aperta per lo studio del dialogo parlato full-duplex in tempo reale senza scatole nere proprietarie.
Assistenti per l'accessibilità che conversano in modo fluido con gli utenti che necessitano di scambi rapidi e naturali.
Prototipazione di robot vocali interrompibili per il servizio clienti che eseguono il backchannel e reagiscono mentre il chiamante sta ancora parlando.
La modellazione full-duplex sta diventando il modello per l'intelligenza artificiale con voce naturale, influenzando i sistemi in tutto il settore. Aspettatevi versioni più piccole, sul dispositivo, supporto multilingue, minore latenza e integrazione con agenti, servizio clienti e strumenti di accessibilità. Poiché Moshi è aperto, i ricercatori possono sondarlo e migliorarlo liberamente. Permangono sfide legate all’affidabilità fattuale, alla sicurezza nel discorso sovrapposto e alle sfumature emotive, ma il passaggio da un rigido alternarsi di turni a una conversazione fluida e interrompibile è probabilmente permanente.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Moshi è un'intelligenza artificiale vocale open source e in tempo reale di Kyutai che parla e ascolta allo stesso tempo - full duplex - invece di fare turni rigidi. Ciò elimina il ritardo scomodo e il rigido cambio di turno degli assistenti vocali tradizionali.
Full duplex significa che il modello gestisce simultaneamente l'audio in entrata e in uscita, in modo da poter ascoltare mentre parla e gestire le interruzioni in modo naturale.
Moshi è stato sviluppato e reso open source da Kyutai, un laboratorio francese di ricerca sull'intelligenza artificiale, nel 2024.
Mimi è il codec audio neurale che comprime il parlato continuo in un flusso a basso bitrate di token discreti che il modello può generare.
Gli assistenti tradizionali concatenano la sintesi vocale, un modello linguistico e la sintesi vocale; Moshi è un singolo modello di sintesi vocale che gestisce l'audio in modo continuo.
Moshi raggiunge una latenza di circa 160-200 ms, molto inferiore rispetto ai tipici assistenti vocali, consentendo sovrapposizioni e interruzioni naturali.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Normalizzazione del testo per il parlato
IA audio