オーディオAIガイド
Mimi ストリーミング オーディオ コーデック
Mimi は、Moshi で使用される Kytai のニューラル オーディオ コーデックです。
このガイドを聴くAIによるナレーション · ~2 min
概要
24 kHz オーディオを 12.5 フレーム/秒で離散表現に変換し、音声モデルがオーディオ トークンを予測してデコードできるようにします。この論文では、WavLM から抽出されたセマンティック コードブックと再構築用の音響コードブックについて説明します。特定のレートとレイテンシーは公開された構成に属します。
ディープダイブ
Moshi の論文では、報告されたセットアップで 12.5 Hz のトークン フレーム レートと 1.1 kbps の帯域幅を備えた 24 kHz オーディオで動作するストリーミング ニューラル コーデックとして Mimi を紹介しています。エンコーダは、分割残差ベクトル量子化を使用して、WavLM から抽出されたセマンティック コードブックと再構成をサポートする音響コードブックを生成します。エンコーダ/デコーダの因果マスキング Transformers はストリーミング推論をサポートします。この論文では、フレーム サイズが 80 ミリ秒であると報告されています。これを、保証されたエンドツーエンドの会話応答時間として解釈すべきではありません。 Mimi は Moshi のオーディオテキストモデリング用のオーディオトークンを提供しますが、コーデックトークンは通常のテキストトークンではありません。
現実世界の実装
コーデックを使用して、受信音声を音声テキスト モデルが処理できる個別のトークンとして表現します。
予測された音声トークンをデコードして音声出力用の波形に戻します。
自己回帰シーケンスの長さとコーデックの忠実度を評価するときに、トークン レートとビットレートを比較します。
Moshi レポートで説明されている分割されたセマンティック/音響コードブックを検査します。
Mimi ストリーミング オーディオ コーデックの将来
ニューラル コーデックは、音声モデルをエンコードして音声を生成するための 1 つのインターフェイスを提供します。将来の作業では、トークン レート、コードブックの割り当て、ストリーミング レイテンシが調整される可能性があります。意図したオーディオ品質、ハードウェア、対話タスクに関して、それぞれのトレードオフを評価する必要があります。
実践する
なぜそれが重要なのか
- アクセスと到達範囲. 文字起こし、ナレーション、音声インターフェイスを通じてアクセシビリティを向上させます。
- 費用と予算. メディア チームは、より少ない予算で洗練されたオーディオをより迅速に出荷できます。
- 速度とスケール. 顧客対応システムは、音声対話を大規模に処理できます。
気をつけてください
- 同意がない場合、音声の悪用やなりすましのリスクが高まります。
- アクセント、方言、または騒がしい環境では精度が低下する可能性があります。
- 合成音声は、明確なラベルが付けられていないと、本物の音声と間違われる可能性があります。
次のステップ
- 音声のキャプチャ、複製、再利用については明示的な同意を取得してください。
- さまざまな話者や背景条件で品質をテストします。
- 人間がいつ出力をレビューまたは承認する必要があるかを定義します。
- 合成音声にラベルを付け、出所記録を保管して説明責任を果たします。
探検を続けましょう
よくある質問
Mimi ストリーミング オーディオ コーデックとは何ですか?
Mimi は、Moshi で使用される Kytai のニューラル オーディオ コーデックです。 24 kHz オーディオを 12.5 フレーム/秒で離散表現に変換し、音声モデルがオーディオ トークンを予測してデコードできるようにします。この論文では、WavLM から抽出されたセマンティック コードブックと再構築用の音響コードブックについて説明します。特定のレートとレイテンシーは公開された構成に属します。
Mimi と Moshi の音声モデルをリリースしたのはどこのラボですか?
Mimi と Moshi は、両方をオープンソース化したフランスの研究機関 Kyutai によって 2024 年にリリースされました。
ミミはスピーチのために毎秒およそ何個のトークンを放出しますか?
Mimi は、24 kHz オーディオを約 1.1 kbps で 1 秒あたりわずか約 12.5 トークンまで圧縮します。
Mimi の最初のセマンティック コードブックはどのような情報を表現することを目的としていますか?
Moshi の論文では、WavLM 表現を抽出して Mimi のセマンティック コードブックにする方法について説明しています。このコードブックが文字通りの転写または正確な話者の身元記録であるとは主張しません。
なぜミミは「ストリーミング」または「因果関係」と表現されているのでしょうか?
Mimi の因果エンコーダ/デコーダは、発話全体を必要とするのではなく、音声が到着するときにフレームを処理できます。この論文の 80 ミリ秒という数字はコーデックのフレーム間隔であり、エンドツーエンドの対話遅延を保証するものではありません。
Mimi はオーディオのエンコードにどの量子化技術を使用しますか?
Mimi は残差ベクトル量子化を使用し、複数のコードブックを積み重ねて、それぞれが前のコードブックにさらに細かい詳細を追加します。