LegközelebbKövetkező útmutató
Neurális audio kodekek
Hangalapú AI
Audio AI ÚTMUTATÓ
Mimi is Kyutai’s neural audio codec used with Moshi.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It converts 24 kHz audio into discrete representations at 12.5 frames per second, enabling speech models to predict and decode audio tokens. The paper describes a semantic codebook distilled from WavLM and acoustic codebooks for reconstruction; the specific rates and latency belong to the published configuration.
The Moshi paper introduces Mimi as a streaming neural codec operating on 24 kHz audio with a 12.5 Hz token frame rate and 1.1 kbps bandwidth in the reported setup. The encoder produces a semantic codebook distilled from WavLM and acoustic codebooks that support reconstruction, using split residual vector quantization. Causal masking in the encoder/decoder Transformers supports streaming inference. The paper reports an 80 ms frame size; it should not be read as a guaranteed end-to-end conversational response time. Mimi supplies audio tokens for Moshi’s audio-text modeling, but codec tokens are not ordinary text tokens.
Use a codec to represent incoming speech as discrete tokens that a speech-text model can process.
Decode predicted audio tokens back into a waveform for speech output.
Compare token rate and bitrate when assessing autoregressive sequence length and codec fidelity.
Inspect the split semantic/acoustic codebooks described in the Moshi report.
Neural codecs provide one interface for speech models to encode and generate audio. Future work may adjust token rates, codebook allocation, and streaming latency; each trade-off must be evaluated for the intended audio quality, hardware, and dialogue task.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Mimi is Kyutai’s neural audio codec used with Moshi. It converts 24 kHz audio into discrete representations at 12.5 frames per second, enabling speech models to predict and decode audio tokens. The paper describes a semantic codebook distilled from WavLM and acoustic codebooks for reconstruction; the specific rates and latency belong to the published configuration.
A Mimit és a Moshit 2024-ben adta ki a francia Kyutai kutatólaboratórium, amely mindkettőt nyílt forráskódú.
A Mimi a 24 kHz-es hangot csak körülbelül 12,5 tokenre tömöríti másodpercenként, nagyjából 1,1 kbps sebességgel.
The Moshi paper describes distilling WavLM representations into Mimi’s semantic codebook; it does not claim that this codebook is a literal transcript or exact speaker-identity record.
Mimi’s causal encoder/decoder can process frames as audio arrives rather than requiring the full utterance. The paper’s 80 ms figure is a codec frame interval, not a guaranteed end-to-end dialogue latency.
A Mimi maradék vektorkvantálást használ, több kódkönyvet egymásra rakva, így mindegyik finomabb részletet ad az előzőhöz.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Neurális audio kodekek
Hangalapú AI