概述
它們共同讓開發者能在NVIDIA硬體上快速、可自訂地建立語音應用程式
深入探討
NeMo(神經模組)是 NVIDIA 用於建立對話式 AI 的開源 PyTorch 框架。它提供用於自動語音識別 (ASR)、文字轉語音 (TTS) 和自然語言任務的預訓練模型,這些模型被組織為可重複使用的“神經模組”,您可以根據自己的數據進行微調。 Riva 是部署方:它將最佳化的模型打包在串流 gRPC 伺服器後面,使用 TensorRT 和 Triton 推理伺服器大規模實現低延遲。典型的工作流程在 NeMo 中訓練或調整模型,將其匯出為 Riva 格式,然後用於即時轉錄或合成。 Riva 支援具有單字級時間戳記、神經 TTS 語音、說話者二值化和多種語言的串流識別,所有這些都經過調整,可在 NVIDIA GPU 上高效運行。
現實世界的實施
即時呼叫中心轉錄和現場代理協助,使用字級時間戳記為客戶呼叫提供字幕
透過在 NeMo 中對幾個小時的錄音進行微調 FastPitch,為虛擬助理建立定製品牌的 TTS 聲音
在 NVIDIA GPU 上為視訊會議或串流活動提供即時字幕和語音翻譯
使用 NeMo 針對特定領域的醫學或法律詞彙微調 Conformer ASR 模型,然後透過 Riva 提供服務
NVIDIA Riva 和 NeMo Speech 的未來
NVIDIA 正在推動 Riva 和 NeMo 走向更大、更多語言的基礎語音模型,並與基於 LLM 的代理更緊密地集成,以實現端到端語音助理。期待更豐富的客製化(單字增強、來自幾分鐘資料的客製化語音)、更好的雜訊環境穩健性以及跨資料中心 GPU 到 Jetson 等邊緣裝置的部署。隨著 NeMo 與生成模型一起發展,語音識別、翻譯和會話推理之間的界限將繼續模糊到統一的即時管道中。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是 NVIDIA Riva 與 NeMo 語音?
NVIDIA Riva 是一款用於生產語音 AI(ASR、TTS 和翻譯)的 GPU 加速 SDK,而 NeMo 是用於訓練和微調底層模型的開源工具包。它們共同幫助開發人員建立在 NVIDIA 硬體上運行的快速、可自訂的語音應用程式。
NeMo 和 Riva 之間的主要區別是什麼?
NeMo 是用於構建和微調語音和語言模型的開源工具包,而 Riva 則打包並提供這些模型以供低延遲生產使用。
Riva 文件指出哪些 NVIDIA 元件可用於優化模型執行與推論服務?
TensorRT 與 Triton 擁有不同的執行與服務角色;特定批次與延遲行為取決於已部署的流程。
在典型的 Riva TTS 管道中,HiFi-GAN 等聲碼器的作用是什麼?
FastPitch 等聲學模型可根據文字預測聲譜圖特徵,HiFi-GAN 等神經聲碼器將這些特徵轉換為最終的可聽波形。
Riva 中的「流式」ASR 可實現什麼功能?
串流識別以小塊的形式處理音訊並近乎即時地發出部分結果,而不是等待整個話語完成。
NeMo 為語音模型提供的客製化範例是什麼?
NeMo 允許開發人員根據自己的資料微調預訓練模型,例如調整 ASR 模型以識別專業的醫學或法律術語。