オーディオAIガイド
NVIDIA Riva と NeMo のスピーチ
NVIDIA Riva は、実稼働音声 AI (ASR、TTS、および翻訳) 用の GPU アクセラレーション SDK であり、NeMo は、基礎となるモデルのトレーニングと微調整のためのオープンソース ツールキットです。
このガイドを聴くAIによるナレーション · ~2 min
概要
Together they let developers build fast, customizable voice applications that run on NVIDIA hardware.
ディープダイブ
NeMo (Neural Modules) は、会話型 AI を構築するための NVIDIA のオープンソース PyTorch フレームワークです。自動音声認識 (ASR)、テキスト読み上げ (TTS)、および自然言語タスク用の事前トレーニング済みモデルが同梱されており、独自のデータに基づいて微調整できる再利用可能な「ニューラル モジュール」として編成されています。 Riva はデプロイメント側です。TensorRT と Triton Inference Server を使用して、ストリーミング gRPC サーバーの背後で最適化されたモデルをパッケージ化し、大規模な低遅延を達成します。一般的なワークフローでは、NeMo でモデルをトレーニングまたは適応させ、Riva 形式にエクスポートして、リアルタイムの転写または合成に提供します。 Riva は、単語レベルのタイムスタンプ、ニューラル TTS 音声、話者ダイアライゼーション、および多くの言語によるストリーミング認識をサポートしており、すべて NVIDIA GPU で効率的に実行されるように調整されています。
現実世界の実装
リアルタイムのコールセンターの文字起こしと、単語レベルのタイムスタンプで顧客の通話にキャプションを付けるライブエージェント支援
数時間の録音で NeMo の FastPitch を微調整することにより、仮想アシスタント用にカスタム ブランドの TTS 音声を構築する
NVIDIA GPU でのビデオ会議やストリーミング イベントのライブ キャプションと音声翻訳
NeMo を使用してドメイン固有の医学または法律語彙に基づいて Conformer ASR モデルを微調整し、Riva を通じて提供する
NVIDIA Riva の将来と NeMo のスピーチ
NVIDIA は、Riva と NeMo を、より大規模でより多言語の基礎音声モデルと、エンドツーエンドの音声アシスタント用の LLM ベースのエージェントとのより緊密な統合に向けて推進しています。より豊富なカスタマイズ (単語ブースト、数分間のデータからのカスタム音声)、騒音環境に対する堅牢性の向上、データセンターの GPU から Jetson などのエッジ デバイスまでにわたる展開が期待されます。 NeMo が生成モデルとともに進化するにつれて、音声認識、翻訳、および会話による推論の間の境界線は、統合されたリアルタイム パイプラインの中で曖昧になり続けます。
実践する
なぜそれが重要なのか
- アクセスと到達範囲. 文字起こし、ナレーション、音声インターフェイスを通じてアクセシビリティを向上させます。
- 費用と予算. メディア チームは、より少ない予算で洗練されたオーディオをより迅速に出荷できます。
- 速度とスケール. 顧客対応システムは、音声対話を大規模に処理できます。
気をつけてください
- 同意がない場合、音声の悪用やなりすましのリスクが高まります。
- アクセント、方言、または騒がしい環境では精度が低下する可能性があります。
- 合成音声は、明確なラベルが付けられていないと、本物の音声と間違われる可能性があります。
次のステップ
- 音声のキャプチャ、複製、再利用については明示的な同意を取得してください。
- さまざまな話者や背景条件で品質をテストします。
- 人間がいつ出力をレビューまたは承認する必要があるかを定義します。
- 合成音声にラベルを付け、出所記録を保管して説明責任を果たします。
探検を続けましょう
よくある質問
What is NVIDIA Riva and NeMo Speech?
NVIDIA Riva は、実稼働音声 AI (ASR、TTS、および翻訳) 用の GPU アクセラレーション SDK であり、NeMo は、基礎となるモデルのトレーニングと微調整のためのオープンソース ツールキットです。これらを組み合わせることで、開発者は NVIDIA ハードウェア上で実行される、高速でカスタマイズ可能な音声アプリケーションを構築できるようになります。
NeMo と Riva の主な違いは何ですか?
NeMo は音声モデルと言語モデルを構築および微調整するためのオープンソース ツールキットですが、Riva はこれらのモデルをパッケージ化し、低遅延の運用環境で使用できるように提供します。
Riva のドキュメントでは、モデルの実行と推論の提供を最適化するためにどの NVIDIA コンポーネントが特定されていますか?
TensorRT と Triton には、異なる実行とサービスの役割があります。特定のバッチ処理とレイテンシーの動作は、デプロイされたパイプラインによって異なります。
典型的な Riva TTS パイプラインでは、HiFi-GAN のようなボコーダーの役割は何ですか?
FastPitch などの音響モデルはテキストからスペクトログラムの特徴を予測し、HiFi-GAN のようなニューラル ボコーダーはそれらの特徴を最終的な可聴波形に変換します。
Riva の「ストリーミング」ASR では何が可能になりますか?
ストリーミング認識は、音声を小さな塊で処理し、発話全体が終了するのを待つのではなく、ほぼリアルタイムで部分的な結果を出力します。
NeMo が音声モデルに対して可能にするカスタマイズの例はどれですか?
NeMo を使用すると、開発者は、たとえば ASR モデルを適応させて専門的な医学用語や法律用語を認識するなど、独自のデータに基づいて事前トレーニングされたモデルを微調整できます。