深入探讨
Berglund 及其同事在 2023 年发表的一篇论文中记录了逆转诅咒，表明如果一个模型接受“汤姆·克鲁斯的母亲是玛丽·李·菲佛”的训练，当被问到“谁是玛丽·李·菲佛的儿子？”时，它经常会失败。即使答案在逻辑上是相同的。即使在对数百个此类事实进行微调之后，这种效应仍然存在于不同的模型大小中。这不是记忆间隙：模型已经看到了信息，但只是按照一个顺序。由于训练根据数据中的确切词序优化了下一个标记预测，因此从 A 到 B 的统计链接不会自动创建从 B 到 A 的链接。这一发现挑战了仅靠规模就能对事实进行灵活、类人推理的假设。
现实世界的实施
聊天机器人正确地说出了名人的父母，但当被要求说出该父母的著名孩子的名字时却失败了。
一位模特背诵“第九任总统是威廉·亨利·哈里森”，但却偶然发现“威廉·亨利·哈里森是第几任总统”。
学习了函数到描述映射的编码助手无法仅从描述中恢复函数名称。
当被问及什么治疗 Y 病症时，接受过“药物 X 治疗 Y 病症”训练的医疗 QA 系统未能列出药物 X。
法学硕士逆转诅咒的未来
正在研究的缓解措施包括双向数据增强（添加反向短语）、双向预测标记的训练目标以及对称查找事实而不是依赖记忆权重的检索系统。一些较新的架构和反向预训练实验缩小了差距。预计诅咒会缩小但不会消失，因为它暴露了下一个令牌学习与现实世界关系的对称结构之间的深度不匹配。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
What is Reversal Curse in LLMs?
逆转诅咒是一种令人惊讶的失败模式，学习“A 是 B”的语言模型无法可靠地回答“B 是 A”。它揭示了法学硕士将事实存储为单向关联，而不是对称知识。
A model learned “A is B” but fails to answer “B is A.” What is this called?
The paper names this directional failure the reversal curse.
What does the reversal curse show about directional associations?
The paper reports that forward and reverse statements can behave differently.
Is the reversal curse simply a failure because the model never saw the fact?
The research tests failure on a reverse query after forward exposure.
Why might next-token training contribute to the effect?
The paper discusses sequence direction as relevant to the failure.
What does failure on a reverse query imply about model knowledge?
The finding challenges assumptions about flexible use of stored facts.