概述
这很重要，因为二进制反馈比大多数方法所需的排名对更容易收集，也更便宜。
深入探讨
KTO 是由 Ethayarajh 及其同事在斯坦福大学和 Contextual AI 于 2024 年推出的，它借鉴了前景理论，这是 Daniel Kahneman 和 Amos Tversky 的诺贝尔奖获奖作品，关于人类如何评估得失。像 DPO 这样的标准方法需要偏好对：针对同一提示选择的答案和拒绝的答案。相反，KTO 使用不成对的数据，其中每个单独的输出都被简单地标记为所需或不需要。它构建了一种人类感知的损失，将模型对样本的改进视为相对于参考点的增益或损失，应用损失厌恶，因此对不期望的输出的惩罚比期望的输出的奖励更严厉。这使得团队可以使用生产应用程序中已收集的大量赞成/反对信号。
现实世界的实施
使用已部署的聊天机器人的“拇指向上/拇指向下”点击来对其进行微调，而无需构建偏好对
当您有一堆“好”和“坏”答案但没有针对相同提示的匹配比较时对齐模型
产品团队将审核标记（不需要）和保存的响应（需要）回收到 KTO 培训中
通过调整 KTO 的损失厌恶和类别权重，处理不喜欢的反馈比喜欢少的不平衡反馈
Kahneman-Tversky 优化的未来
KTO 非常适合真实产品，用户会自然地点击喜欢或不喜欢，但很少并排排列两个答案。预计回收生产反馈的持续改进循环将得到更广泛的采用，再加上研究调整所需数据与不需要数据的比率和损失厌恶权重。当团队寻求从混乱的现实世界信号中寻求一致性时，将 KTO 的行为经济学框架与其他目标相结合，并将其应用于多模式反馈，是积极的方向。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是卡尼曼-特沃斯基优化？
Kahneman-Tversky Optimization (KTO) 是一种对齐方法，它从简单的赞成或反对标签而不是配对比较中学习。这很重要，因为二进制反馈比大多数方法所需的排名对更容易收集，也更便宜。
KTO 需要什么样的数据？
KTO 从简单的每个示例的赞成/反对标签中学习，而不是从匹配的偏好对中学习。
KTO 的灵感来自于哪些作品？
KTO借用了前景理论的不对称评估收益和损失的思想，因此得名。
KTO 中使用的“损失厌恶”是什么？
前景理论认为，损失比收益更大，因此 KTO 更重视负偏差。
What kind of feedback can KTO learn from without requiring paired comparisons?
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
在 KTO 中，偏差是相对于什么来测量的？
KTO 的价值函数判断响应是否高于或低于参考基线，并将其视为收益或损失。