概述
它修复了旧指标的一个核心盲点，该盲点会惩罚有效的释义。
深入探讨
BERTScore 通过将每个标记嵌入到 BERT 或 RoBERTa 等上下文模型中来评估生成的文本（翻译、摘要、标题），然后通过余弦相似度将候选标记与参考标记进行匹配。 BLEU 和 ROUGE 等较旧的指标计算重叠的 n 元语法，因此“猫在垫子上”和“猫坐在地毯上”尽管含义相同，但得分接近零。相反，BERTScore 计算贪婪标记匹配，然后聚合为精度、召回率和 F1。由于嵌入是上下文相关的，因此不同句子中的相同单词会获得不同的向量，从而捕捉细微差别。它与人类的质量判断有更好的相关性，尤其是对于流畅的释义，这就是为什么它在 2019 年推出后成为标准语义评估工具。
现实世界的实施
对有效措辞各不相同的机器翻译系统进行评分，因此 BLEU 会不公平地惩罚正确的释义
评估用新词重述源内容而不是复制短语的抽象摘要
对图像字幕模型进行基准测试，其中许多流畅的字幕描述同一张图片
当措辞不同但含义相同时，将聊天机器人或 QA 响应与黄金答案进行比较
BERTcore 和语义评估的未来
语义评估正在转向有学识和法学硕士的法官，他们评估事实性、连贯性和超越象征相似性的有用性。 BERTScore 仍然是一个快速、可重复的基线，但 BLEURT、COMET 和“LLM-as-judge”等新方法对 BERTScore 所错过的质量进行评分，例如幻觉事实。期待混合管道：用于大规模筛选的廉价嵌入指标，以及用于最终高风险评估的更昂贵的基于模型的评判。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是 BERTcore 和语义评估？
BERTScore 通过比较含义而不是确切的单词来衡量机器生成的文本与参考的匹配程度。它修复了旧指标的一个核心盲点，该盲点会惩罚有效的释义。
BERTScore 解决了 BLEU 和 ROUGE 的哪些核心弱点？
BLEU 和 ROUGE 计算 n 元语法重叠，因此即使正确，使用不同单词的意义保留释义得分也很低。
BERTScore 如何判定两个 token 相似？
BERTScore 将标记嵌入到像 BERT 这样的模型中，并使用向量空间中的余弦相似度来比较它们。
BERTScore 嵌入是“上下文的”意味着什么？
上下文模型在不同上下文中为同一个单词生成不同的嵌入，捕获含义的细微差别。
BERTcore 通常报告哪三个值？
BERTScore 将标记匹配聚合为精确度、召回率和综合 F1 分数。
BERTcore 中可选 IDF 加权的目的是什么？
逆文档频率降低了诸如“the”之类意义不大的频繁单词的影响。