概述
它是人們期待已久的即時對話「萬能翻譯者」。
深入探討
語音到語音翻譯將來源語言的音訊轉換為目標語言的音訊。經典的方法是級聯:語音識別 (ASR) 轉錄輸入,機器翻譯轉換文本,文本轉語音 (TTS) 說出結果。這可行,但會在每個階段累積錯誤並增加延遲。較新的「直接」或端對端系統可以透過較少的中間文字步驟將語音翻譯成語音,從而減少延遲並更好地保留表達品質。 Meta 的 SeamlessM4T 和 Seamless 套件可翻譯約 100 種語言,旨在保持說話者的聲音風格、情緒和節奏。一個難題是即時、低延遲的翻譯:系統必須在句子結束之前開始翻譯,平衡速度和準確性。
現實世界的實施
即時視訊通話翻譯,讓參與者可以說自己的語言並用自己的語言聽到對方的聲音。
出國旅行時可即時翻譯對話的耳塞和 AR 眼鏡。
將電影和視訊配音成其他語言,同時保留原始說話者的聲音和情感。
在緊急和醫療保健環境中,沒有共同語言的臨床醫生和患者可以快速溝通。
語音到語音翻譯的未來
我們的目標是無縫、近乎即時的翻譯,保留您自己的聲音和情感,嵌入耳塞、眼鏡和視訊通話中。期望更廣泛的低資源語言覆蓋範圍、更低的延遲以及更好地處理俚語、名稱和重疊說話者。語音保存引起了同意和深度偽造的擔憂,因此水印和保護措施將會增加。隨著設備上使用的模型不斷縮小,私人離線翻譯可以使旅行、醫療保健和全球協作的即時多語言對話成為常態。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是語音轉語音翻譯?
語音到語音翻譯 (S2ST) 獲取一種語言的口語單字並產生另一種語言的口語單字 - 最好保留說話者的聲音、語氣和時間。它是人們期待已久的即時對話「萬能翻譯者」。
語音轉語音翻譯 (S2ST) 有什麼作用?
S2ST 接受來源語言的語音輸入並產生目標語言的語音輸出,從而理想地保留語音和語氣。
經典級聯S2ST系統的三個階段是什麼?
級聯鏈包含 ASR(語音轉文字)、機器翻譯和 TTS(文字轉語音),每個階段都有可能累積錯誤。
與級聯繫統相比,直接(端對端)S2ST 的主要優勢是什麼?
直接系統以較少的中間文字步驟將語音映射到語音,從而減少延遲並幫助保留韻律等表達品質。
哪個 Meta 系統因翻譯約 100 種語言而聞名?
Meta 的 SeamlessM4T 和 Seamless 套件可翻譯約 100 種語言,旨在保留演講者的風格和情感。
為什麼即時串流翻譯特別具有挑戰性?
由於不同語言的詞序不同,串流媒體系統必須在演講者結束之前承諾輸出,在速度和準確性之間進行權衡。