概述
它總結了專家組在特定範圍內的判斷;該值取決於刺激、指令、聽眾群體和測試條件,並且不是與上下文無關的物理測量值。
深入探討
ITU-T 建議 P.800 描述了主觀傳輸品質評估的方法,包括絕對類別評級 (ACR) 和比較類別評級程序。在 ACR 中,聽眾使用定義的意見量表對樣本進行評分; MOS 是評估組收集的分數的算術平均值。在常見的五分制中,5 分對應於優秀,1 分對應於差。當不同研究的樣本、說明、聽眾、播放條件或協議不同時,不應將不同研究的分數視為直接可比較。 DNSMOS 和 UTMOS 等自動預測器是根據人類評級進行訓練的,可以篩選大型集合,但預測品質可能會在域外減弱,例如對於看不見的演講者、聽眾或系統。
現實世界的實施
使用絕對類別評級測試收集語音樣本的獨立品質評級
比較受控監聽會話中的編解碼器輸出並報告協議詳細信息
透過報告分數分佈或信賴區間來估計小組平均值的不確定性
使用自動 MOS 預測器進行篩選,同時透過手動評分驗證重要結果
平均意見評分評估的未來
評估研究將客觀預測因子與聽力小組配對,並研究預測因子在說話者、系統、領域和指示之間的泛化能力。在有界評級量表的頂部附近,天花板效應可以壓縮差異,但程度取決於研究。強有力的報告包括協議細節和不確定性,而不是將一個 MOS 值呈現為絕對排名。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是平均意見評分評估?
平均意見分數 (MOS) 是根據定義的測試協議收集的主觀聽眾評分的平均值。它總結了專家組在特定範圍內的判斷;該值取決於刺激、指令、聽眾群體和測試條件,並且不是與上下文無關的物理測量值。
在標準量表中,平均意見分數 5 代表什麼?
在標準國際電聯五點絕對類別評級量表中,5 表示優秀,1 表示差。
為什麼 MOS 研究要收集多個聽眾的評分?
多個聽眾讓研究人員可以估計平均值及其變異性;精確度取決於面板尺寸和研究設計。
哪個組織標準化了原始 MOS 音訊品質方法?
國際電信聯盟在 P.800 建議書中定義了 MOS 測試,最初用於電話語音品質。
比較兩個獨立研究的 MOS 值的主要限制是什麼?
由於評分取決於特定樣本、錨點和聽眾池,因此無法可靠地比較不同會話的絕對 MOS 數。
DNSMOS 或 UTMOS 等自動 MOS 預測器可以解決什麼問題?
經過人類評分訓練的預測 MOS 模型會自動估計分數,讓團隊在最終的人類評估之前以較低的成本篩選許多樣本。