概述
BLEU was built for translation and leans on precision; ROUGE was built for summarization and leans on recall.
深入探讨
这两个指标都测量候选文本和一个或多个参考文本之间的 n 元语法重叠，但它们强调不同的方向。 BLEU（双语评估研究）计算修改后的 n 元语法精度（通常为 1 到 4 元语法），将它们进行几何乘法，并应用简洁性惩罚，以便系统无法通过生成非常短的输出来欺骗分数。 ROUGE（Recall-Oriented Understudy for Gistingvaluation）更倾向于召回：ROUGE-N 计算重叠的 n-gram，ROUGE-L 使用最长的公共子序列来奖励有序匹配，而不需要连续性。 BLEU 询问“系统所说的有多少是正确的？”而 ROUGE 则询问“系统捕获了多少参考？”。两者都很便宜且可复制，但只能看到表面的单词重叠，缺少释义和含义。
现实世界的实施
机器翻译研究人员报告 WMT 基准上的 BLEU 分数，以比较系统质量
总结论文报告了 CNN/DailyMail 数据集上的 ROUGE-1、ROUGE-2 和 ROUGE-L
工程团队在 CI 中跟踪 BLEU，以在微调翻译模型时检测回归
摘要产品在运行成本更高的人工评估之前使用 ROUGE-L 作为廉价的自动检查
ROUGE 和 BLEU 评估指标的未来
由于 n-gram 指标奖励精确的单词匹配，因此它们低估了有效的释义和流畅的重写，这是一个日益严重的问题，因为 LLM 输出在词汇上与参考文献存在分歧。基于嵌入的指标（如 BERTScore）和学习指标（如 BLEURT 和 COMET），加上法学硕士作为评判评估，越来越多地补充或取代它们。尽管如此，ROUGE 和 BLEU 仍然是几乎每篇论文中报道的快速、透明的基线。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
What is ROUGE and BLEU Evaluation Metrics?
ROUGE 和 BLEU 是将机器生成的文本与人类参考进行比较的主要自动指标。 BLEU 专为翻译而设计，注重精度； ROUGE 是为总结而构建的，并且依赖于回忆。
哪个指标最初是为机器翻译设计的并且强调精度？
BLEU 是为翻译而创建的，基于修改后的 n 元语法精度，但具有简洁性。
ROUGE主要面向什么？
ROUGE 代表面向回忆的基础评估的研究，强调捕获了多少参考。
BLEU 的简洁性惩罚会阻止什么？
当候选值比参考值短时，简洁性惩罚会降低 BLEU，从而阻止系统通过简洁的输出来提高精度。
ROUGE-L 测量什么？
ROUGE-L 使用最长的公共子序列，奖励有序匹配，同时允许间隙。
BLEU 和 ROUGE 的主要共同限制是什么？
两者都依赖于精确的单词/n-gram 匹配，因此它们低估了与参考文献在词汇上不同的有效释义。