概述
BLEU 專為翻譯而設計,注重精確度; ROUGE 是為總結而構建的,並且依賴回憶。
深入探討
這兩個指標都測量候選文本和一個或多個參考文本之間的 n 元語法重疊,但它們強調不同的方向。 BLEU(雙語評估研究)計算修改後的 n 元語法精度(通常為 1 到 4 元語法),將它們進行幾何乘法,並應用簡潔性懲罰,以便系統無法透過產生非常短的輸出來欺騙分數。 ROUGE(Recall-Oriented Understudy for Gistingvaluation)更傾向於回想:ROUGE-N 計算重疊的 n-gram,ROUGE-L 使用最長的公共子序列來獎勵有序匹配,而不需要連續性。 BLEU 問「系統所說的有多少是正確的?」而 ROUGE 則詢問「系統捕捉了多少參考?」。兩者都很便宜且可複製,但只能看到表面的單字重疊,缺少釋義和含義。
現實世界的實施
機器翻譯研究人員報告 WMT 基準上的 BLEU 分數,以比較系統質量
總結論文報告了 CNN/DailyMail 資料集上的 ROUGE-1、ROUGE-2 和 ROUGE-L
工程團隊在 CI 中追蹤 BLEU,以在微調翻譯模型時檢測回歸
摘要產品在運行成本較高的人工評估之前使用 ROUGE-L 作為廉價的自動檢查
ROUGE 和 BLEU 評估指標的未來
由於 n-gram 指標獎勵精確的單字匹配,因此它們低估了有效的釋義和流暢的重寫,這是一個日益嚴重的問題,因為 LLM 輸出在詞彙上與參考文獻存在分歧。基於嵌入的指標(如 BERTScore)和學習指標(如 BLEURT 和 COMET),加上法學碩士作為評判評估,越來越多地補充或取代它們。儘管如此,ROUGE 和 BLEU 仍然是幾乎每篇論文中報導的快速、透明的基線。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什么是 ROUGE 和 BLEU 评估指标?
ROUGE 和 BLEU 是將機器產生的文字與人類參考進行比較的主要自動指標。 BLEU 專為翻譯而設計,注重精確度; ROUGE 是為總結而構建的,並且依賴回憶。
哪一個指標最初是為機器翻譯設計的並且強調精確度?
BLEU 是為翻譯而創建的,基於修改後的 n 元語法精度,但具有簡潔性。
ROUGE主要面向什麼?
ROUGE 代表以回憶為導向的基礎評估的研究,強調捕捉了多少參考。
BLEU 的簡潔懲罰會阻止什麼?
當候選值比參考值短時,簡潔性懲罰會降低 BLEU,從而阻止系統透過簡潔的輸出來提高精確度。
ROUGE-L 測量什麼?
ROUGE-L 使用最長的公共子序列,獎勵有序匹配,同時允許間隙。
BLEU 和 ROUGE 的主要共同限制是什麼?
兩者都依賴精確的單字/n-gram 匹配,因此它們低估了與參考文獻在詞彙上不同的有效釋義。