人工智能幻觉
人工智能幻觉是指模型流畅而自信地陈述一些错误的东西，就好像它是真的一样——虚假的引文、捏造的统计数据、错误的事实。
概述
It is the single biggest trust problem with today's language models.
深入探讨
幻觉并不是通常意义上的错误。他们脱离了模型的运作方式。语言模型被训练来生成统计上合理的文本，而不是验证事实。当它遇到差距时——它从未了解过的事实，或者在训练中没有明确答案的问题——它不会说“我不知道”。相反，它会产生听起来最有可能的延续，这可能是一个自信的捏造。输出读取流畅，因此很容易错过错误。常见的形式包括虚构的书名或法律案例、虚假网址、错误引用的引文以及看似合理但错误的数字。它们在医学、法律和金融等高风险环境中尤其危险，在这些环境中，流畅的错误答案可能比明显的错误答案更昂贵。重要的是，即使提供了正确的文档，模型仍然可能矛盾或忽略它们。
技术洞察
根本原因是训练目标：预测下一个标记以最大程度地提高可信度，没有内置的真实性检查，也没有可靠的内部信号来表示“我不确定”。检索增强生成（RAG）通过在提示中注入真实的源文档来提供帮助，但这并不是治愈方法——研究表明，当检索有噪音或模型的内部“知识”与检索到的文本发生冲突时，模型仍然会产生幻觉。其他缓解措施包括将答案纳入引文、对检索到的证据进行重新排名，以及奖励忠实的、有来源支持的输出的偏好微调。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
人工智能幻觉的未来
幻觉将会减少，而不是消除——它们与这些模型的概率核心有关。期望更好的校准（表明不确定性的模型），通过可验证的引用更紧密的基础，自动自我检查和事实验证通过，以及“放弃”模型拒绝而不是猜测的行为。基准和监管将促使供应商报告幻觉率。目前，实际的答案是人工审查加上检索和验证，尤其是在确信错误答案的成本很高的地方。
现实世界的实施
法律助理引用不存在的法庭案件，名称和案件编号看起来很逼真
当被要求提供来源时，聊天机器人发明了一篇看似合理但虚假的学术论文和作者
编码助手调用从未真实存在的库函数或 API 参数
医学总结者陈述的自信剂量与所提供的源文件相矛盾
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI Hallucinations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is AI Hallucinations?
人工智能幻觉是指模型流畅而自信地陈述一些错误的东西，就好像它是真的一样——虚假的引文、捏造的统计数据、错误的事实。这是当今语言模型中最大的信任问题。
语言模型产生幻觉的核心原因是什么？
模型针对统计上可能的下一个标记进行优化。由于没有内置的真实性检查，它们用听起来合理但可能是错误的输出来填补空白。
为什么幻觉特别危险？
由于错误输出流畅且自信，因此它与正确答案融为一体，很容易让用户信任。
检索增强生成（RAG）能否完全消除幻觉？
RAG 通过将答案建立在真实来源的基础上来减少幻觉，但当检索不完善或与内部知识冲突时，模型仍然可能会产生幻觉。
哪个是幻觉的真实例子？
发明一个不存在但看起来很现实的引文是一种典型的幻觉——自信、具体和错误。
哪种方法是公认的减少幻觉的方法？
以真实文件为基础、引用消息来源、重新排列证据以及对忠诚度进行偏好调整都有助于减少捏造。