オーディオAIガイド
HiFi-GAN および GAN ボコーダー
HiFi-GAN は、メル スペクトログラムをほぼ瞬時に生のオーディオ波形に変換し、リアルタイムよりもはるかに速くスタジオ品質の音声を生成する敵対的生成ボコーダーです。
このガイドを聴くAIによるナレーション · ~2 min
概要
高速かつ軽量で、実際の録音と区別しにくいため、現代のテキスト読み上げの標準的な最終段階となりました。
ディープダイブ
ボコーダーはほとんどの TTS パイプラインの最後のステップです。Tacotron や FastSpeech のようなモデルはメル スペクトログラム (時間の経過に伴う周波数のコンパクトな画像) を予測し、ボコーダーは実際の波形サンプルを埋めます。 WaveNet のような初期のニューラル ボコーダーはサウンドは素晴らしかったですが、オーディオはサンプルごとに生成されるため、非常に遅かったです。 Kong、Kim、Bae によって 2020 年にリリースされた HiFi-GAN は、その自己回帰ループを敵対的にトレーニングされた単一のフィードフォワード ジェネレーターに置き換えました。その重要なトリックは、さまざまなスケールとさまざまな周期パターンでオーディオを判断する複数のディスクリミネーターを使用し、ジェネレーターに細かいテクスチャーとピッチ周期性の両方を正しく取得させることです。その結果、GPU でのリアルタイムよりも数百倍高速に 22 kHz の音声が合成され、グラウンドトゥルース オーディオに匹敵する品質が得られます。
現実世界の実装
応答を必要とする仮想アシスタントやナビゲーション アプリの音声出力を、聴覚的な遅延なく生成します。
リアルタイムの音声クローン作成およびダビング ツールを強化し、クローン化されたメル スペクトログラムを自然な音声にレンダリングします。
数時間分の音声を迅速かつ安価に合成するオーディオブックやポッドキャストのナレーション プラットフォームを推進します。
BigVGAN スタイルのユニバーサル ボコーダーを介して、歌声シンセサイザーや音楽デモ内の波形ステージとして機能します。
HiFi-GAN と GAN ボコーダーの将来
GAN ボコーダーは小型化と高速化を続けています。BigVGAN のような子孫はアンチエイリアス アクティベーションを追加して、目に見えない歌手、楽器、言語全体に汎用化する一方、UnivNet と Vocos はユニバーサルなオールバンド合成を目指しています。ストリーミングおよびオンデバイスのバリアントは、低遅延アシスタントのために電話やイヤホン内でボコーディングを実行するようになりました。拡散およびフローマッチングのオーディオ モデルは、GAN スタイルのシングルパス ジェネレーターに蒸留され、拡散の忠実性と GAN の速度が融合することが増えています。ボコーダーは、音声と音楽の両方を強化する汎用ニューラル オーディオ コーデックにフェードインすると予想されます。
実践する
なぜそれが重要なのか
- アクセスと到達範囲. 文字起こし、ナレーション、音声インターフェイスを通じてアクセシビリティを向上させます。
- 費用と予算. メディア チームは、より少ない予算で洗練されたオーディオをより迅速に出荷できます。
- 速度とスケール. 顧客対応システムは、音声対話を大規模に処理できます。
気をつけてください
- 同意がない場合、音声の悪用やなりすましのリスクが高まります。
- アクセント、方言、または騒がしい環境では精度が低下する可能性があります。
- 合成音声は、明確なラベルが付けられていないと、本物の音声と間違われる可能性があります。
次のステップ
- 音声のキャプチャ、複製、再利用については明示的な同意を取得してください。
- さまざまな話者や背景条件で品質をテストします。
- 人間がいつ出力をレビューまたは承認する必要があるかを定義します。
- 合成音声にラベルを付け、出所記録を保管して説明責任を果たします。
探検を続けましょう
よくある質問
HiFi-GAN および GAN ボコーダーとは何ですか?
HiFi-GAN は、メル スペクトログラムをほぼ瞬時に生のオーディオ波形に変換し、リアルタイムよりもはるかに速くスタジオ品質の音声を生成する敵対的生成ボコーダーです。高速かつ軽量で、実際の録音と区別しにくいため、現代のテキスト読み上げの標準的な最終段階となりました。
テキスト読み上げパイプラインにおける HiFi-GAN のようなボコーダーの主な仕事は何ですか?
ボコーダーは、音響モデルによって生成されたメル スペクトログラムから実際の波形サンプルを合成する最終段階です。
HiFi-GAN が以前の WaveNet ボコーダーよりもはるかに高速なのはなぜですか?
WaveNet はオーディオをサンプルごとに (自己回帰的に) 生成しますが、HiFi-GAN のフィードフォワード ジェネレーターは波形をワンショットで出力し、リアルタイムよりもはるかに速い速度を実現します。
HiFi-GAN の Multi-Period Discriminator は具体的に何をキャプチャするのに役立ちますか?
Multi-Period Discriminator は、素数の周期を使用して 1D 波形を 2D に再形成し、ピッチに関連付けられた周期構造を検出します。
GAN ボコーダーは「敵対的に」トレーニングされます。ここでそれは何を意味しますか？
GAN セットアップでは、ジェネレーターは、本物の音声と合成音声を区別するように訓練された弁別ネットワークを騙すのに十分なほど現実的な波形を生成することを学習します。
HiFi-GAN を拡張して、目に見えない声、歌、楽器をよりよく一般化できるのは、後発のボコーダーのうちどれですか?
BigVGAN は HiFi-GAN をスケールアップし、アンチエイリアス処理された定期的なアクティベーションを追加し、歌や楽器などの配信外のオーディオへの汎用性を向上させます。