音訊人工智慧指南

平均意見得分評估

平均意見分數 (MOS) 是根據定義的測試協議收集的主觀聽眾評分的平均值。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 平均意見評分評估的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它總結了專家組在特定範圍內的判斷;該值取決於刺激、指令、聽眾群體和測試條件,並且不是與上下文無關的物理測量值。

深入探討

ITU-T 建議 P.800 描述了主觀傳輸品質評估的方法,包括絕對類別評級 (ACR) 和比較類別評級程序。在 ACR 中,聽眾使用定義的意見量表對樣本進行評分; MOS 是評估組收集的分數的算術平均值。在常見的五分制中,5 分對應於優秀,1 分對應於差。當不同研究的樣本、說明、聽眾、播放條件或協議不同時,不應將不同研究的分數視為直接可比較。 DNSMOS 和 UTMOS 等自動預測器是根據人類評級進行訓練的,可以篩選大型集合,但預測品質可能會在域外減弱,例如對於看不見的演講者、聽眾或系統。

現實世界的實施

使用絕對類別評級測試收集語音樣本的獨立品質評級

比較受控監聽會話中的編解碼器輸出並報告協議詳細信息

透過報告分數分佈或信賴區間來估計小組平均值的不確定性

使用自動 MOS 預測器進行篩選,同時透過手動評分驗證重要結果

平均意見評分評估的未來

評估研究將客觀預測因子與聽力小組配對,並研究預測因子在說話者、系統、領域和指示之間的泛化能力。在有界評級量表的頂部附近,天花板效應可以壓縮差異,但程度取決於研究。強有力的報告包括協議細節和不確定性,而不是將一個 MOS 值呈現為絕對排名。

付諸實踐

為什麼這很重要

  • 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
  • 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
  • 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。

留意

  • 如果未徵得同意,語音濫用和冒充風險就會增加。
  • 由於口音、方言或嘈雜的環境,準確性可能會下降。
  • 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。

後續步驟

  1. 獲得語音捕獲、克隆和重用的明確同意。
  2. 測試不同揚聲器和背景條件下的品質。
  3. 定義人員必須審查或批准輸出的時間。
  4. 標記合成音訊並保留來源記錄以供問責。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加平均意見得分評估測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是平均意見評分評估?

平均意見分數 (MOS) 是根據定義的測試協議收集的主觀聽眾評分的平均值。它總結了專家組在特定範圍內的判斷;該值取決於刺激、指令、聽眾群體和測試條件,並且不是與上下文無關的物理測量值。

在標準量表中,平均意見分數 5 代表什麼?

在標準國際電聯五點絕對類別評級量表中,5 表示優秀,1 表示差。

為什麼 MOS 研究要收集多個聽眾的評分?

多個聽眾讓研究人員可以估計平均值及其變異性;精確度取決於面板尺寸和研究設計。

哪個組織標準化了原始 MOS 音訊品質方法?

國際電信聯盟在 P.800 建議書中定義了 MOS 測試,最初用於電話語音品質。

比較兩個獨立研究的 MOS 值的主要限制是什麼?

由於評分取決於特定樣本、錨點和聽眾池,因此無法可靠地比較不同會話的絕對 MOS 數。

DNSMOS 或 UTMOS 等自動 MOS 預測器可以解決什麼問題?

經過人類評分訓練的預測 MOS 模型會自動估計分數,讓團隊在最終的人類評估之前以較低的成本篩選許多樣本。