概述
它针对您真正关心的质量指标进行优化，而不是原始似然度。
深入探讨
标准解码通常选择概率最高的序列，而最小贝叶斯风险（MBR）则选择在选定的比较函数和参考分布下最小化期望损失——或等价地最大化期望效用——的候选。实际中，系统会对候选输出进行抽样，并将该池子视为模型输出分布的近似，然后将候选与伪参考进行打分。质量取决于候选池和所选指标。在机器翻译中，研究评估了诸如 COMET 等神经指标作为效用函数，并在其测试设置中报告了提升；但这并不是跨任务或跨指标的通用保证。朴素的两两打分可能需要二次比较，因而推动了近似或剪枝的程序。风险是依据所选的损失或效用约定定义的，而不是普遍地等同于一减相似度分数。
现实世界的实施
使用 COMET 作为实用程序从样本候选中选择最佳机器翻译
选择与其他抽样摘要最一致的摘要，以避免出现幻觉的异常值
推理中的自洽，选择最常见的样本答案（类似 MBR 的投票）
通过相互相似性对语音识别或字幕假设进行重新排序
最小贝叶斯风险解码的未来
研究继续探索诸如 COMET 和 MetricX 的学习指标、候选剪枝以及更低成本的 MBR 近似。一些机器翻译研究在其评估的设置中报告了相较于束搜索的提升，但性能取决于任务、指标、抽样分布和计算预算。蒸馏也可以作为用单模型一次前向近似选择策略的研究方向。将其应用于其他领域需要单独评估。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是最小贝叶斯风险解码？
最小贝叶斯风险 (MBR) 解码选择与许多其他可能的输出最相似的输出，而不是单个最高概率的输出。它针对您真正关心的质量指标而不是原始可能性进行优化。
MBR 解码选择什么而不是单个最可能的序列？
MBR 选择相对于模型的其他可能输出最大化预期效用（最小化风险）的候选者，而不是 MAP 候选者。
既然无法获得真正的引用，MBR 使用什么作为伪引用呢？
MBR 使用自己的抽样假设来近似参考分布，将每个候选者与池中的其他候选者进行比较。
为什么朴素 MBR 的计算成本很高？
对每个候选者与其他候选者进行评分呈二次方缩放，从而激励修剪和聚类以降低成本。
在最小贝叶斯风险机器翻译实验中，COMET 被用于什么？
研究在特定机器翻译场景中将 COMET 评估为 MBR 效用函数；结果取决于任务、指标和候选分布。
在最小贝叶斯风险决策中，风险通常如何表达？
MBR 最小化期望损失；当使用效用时，最大化期望效用是等价的约定。具体数值形式取决于所选的损失或效用。