概述
Perplexity 是衡量语言模型对真实文本的“惊讶”程度的经典分数 - 较低意味着它更自信地预测单词。它以及 BLEU 和 ROUGE 等指标是研究人员实际衡量模型是否变得更好的方式。
Perplexity 和 Language Metrics 是语言 AI 堆栈的一部分，用于大规模读取、生成、分类和转换文本和语音。
深入探讨
语言模型为每个下一个单词分配一个概率。 Perplexity 将这些概率转化为一个数字，该数字询问：平均而言，模型在每一步中都会做出多少个同等可能的选择？如果模型完全自信且正确，则困惑度为 1；如果模型完全正确，则困惑度为 1；如果在50,000个单词中统一猜测，则困惑度为50,000。越低越好。它是平均每个单词损失的数学指数，因此它直接跟踪训练。但困惑度只衡量下一个单词的预测，而不衡量输出是否有用、真实或写得好。这就是为什么生成任务添加了 BLEU（用于翻译的 n-gram 重叠）和 ROUGE（用于摘要的重叠）等指标，以及为什么现代评估越来越依赖于人类评分和任务基准的原因。
技术洞察
Perplexity 等于模型分配给保留文本的平均负对数似然指数：exp(-(1/N) * log P(单词 | 前一个单词)) 的总和。它实际上是交叉熵损失的转换版本，只是表示为有效分支因子而不是位或 nat。因为它取决于模型的确切词汇和分词器，所以困惑度值只能在共享相同分词的模型之间进行比较——直接将词级模型与子词模型进行比较是没有意义的。
掌握 Perplexity 和语言指标
Perplexity 是衡量语言模型对真实文本的“惊讶”程度的经典分数 - 较低意味着它更自信地预测单词。它以及 BLEU 和 ROUGE 等指标是研究人员实际衡量模型是否变得更好的方式。 Perplexity 和 Language Metrics 是语言 AI 堆栈的一部分，用于大规模读取、生成、分类和转换文本和语音。为了建立深入的理解，请将 Perplexity 和语言指标视为一种操作模型，而不是单个功能：定义所需的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，使用 Perplexity 和语言指标的强大团队将提示、检索和审查循环设计为一个集成的通信系统。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
语言工作流程可以在不牺牲一致性的情况下更快地移动。与此同时，幻觉事实可以悄悄地进入报告、支持流程或研究成果。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
语言工作流程可以在不牺牲一致性的情况下更快地移动。
语言工作流程可以在不牺牲一致性的情况下更快地移动。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
它扩展了跨语言和沟通方式的访问。
它扩展了跨语言和沟通方式的访问。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
团队可以花更多时间进行判断，而自动化则可以处理重复。
团队可以花更多时间进行判断，而自动化则可以处理重复。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
在预训练期间跟踪验证困惑，以确认模型仍在学习并检测模型何时开始过度拟合
使用 BLEU 分数将新机器翻译系统与人工参考翻译进行比较
报告 ROUGE-L 重叠，以根据黄金标准摘要对新闻摘要模型进行基准测试
比较同一保留语料库上的两个模型检查点，以确定哪一个更自信地预测文本
实施模式
Perplexity 和实践中的语言度量
在预训练期间跟踪验证困惑度，以确认模型仍在学习并检测模型何时开始过度拟合。
在预训练过程中跟踪验证困惑度，以确认模型仍在学习，并检测模型何时开始过度拟合。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
Perplexity 和实践中的语言度量
使用 BLEU 分数将新机器翻译系统与人工参考翻译进行比较。
使用 BLEU 分数将新的机器翻译系统与人工参考翻译进行比较 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
Perplexity 和实践中的语言度量
报告 ROUGE-L 重叠，以根据黄金标准摘要对新闻摘要模型进行基准测试。
报告 ROUGE-L 重叠，以根据黄金标准摘要对新闻摘要模型进行基准测试 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
Perplexity 和实践中的语言度量
比较同一保留语料库上的两个模型检查点，以确定哪一个更自信地预测文本。
比较同一保留语料库上的两个模型检查点，以确定哪一个模型检查点能够更自信地预测文本。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
在推出之前定义输出格式、语气和质量标准。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
当准确性很重要时，请使用可信来源进行地面响应。
当准确性很重要时，请使用可信来源进行地面响应。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
为高风险输出保留人工审查检查点。
为高风险输出保留人工审查检查点。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
跟踪故障模式并定期重新训练提示或工作流程。
跟踪故障模式并定期重新训练提示或工作流程。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。