概述
流畅的措辞可能会掩盖虚构的引用、错误的数量或与所提供证据相矛盾的内容，因此需要进行验证。
深入探讨
Generated answers can contain false statements even when their wording is clear and confident. NIST's Generative AI Profile discusses this risk as confabulation, including erroneous content and outputs that contradict their inputs. A next-token prediction objective does not itself constitute a factual verification process. Models can produce plausible continuations without adequate evidence for a specific name, number, or reference. This is one reason to examine the content rather than infer reliability from style. It is also incorrect to assume that a model never acknowledges uncertainty: some systems can abstain or qualify responses, although such behavior is not a guarantee of accuracy. Retrieval-augmented generation adds information from retrieved material, but the model may still use it incorrectly or generate unsupported details. Verification therefore has two parts. Check whether the cited source exists, then check whether it supports the particular claim. A real URL can lead to a genuine page that says something different. For a supplied document, compare relevant details directly. In an illustrative example, the document says delivery takes five business days, while a summary says two; that discrepancy is a source-faithfulness error even if the summary reads naturally. Long answers may mix supported and unsupported claims. FActScore studies evaluation of fine-grained factual statements against a knowledge source, illustrating why an answer-wide impression can miss individual errors. Evaluation and mitigation should use defined tasks and evidence rather than treating confidence, citations, or a product announcement as proof of universal reliability.
现实世界的实施
检查所引用的论文是否存在，并且是否确实支持相关的声明。
将生成摘要中的数量与提供的文档进行对比。
将建议的 API 名称与相关的库文档进行核对。
单独评估事实声明，而不是仅根据流畅性对答案进行评分。
人工智能幻觉的未来
研究可以改善基于事实的生成、不确定性沟通、拒绝回答以及事实评估。关于进展的声明应说明模型、任务、证据和测量条件。狭窄的基准测试结果或声称幻觉已被消除的说法，都不能确立在所有应用中的可靠性。持续的评估应包括代表性错误和来源可用性的变化。对于有重大影响的用途，工作流程需要对声明进行适当的证据检查，并在依赖这些输出之前，有一种解决不确定或矛盾输出的方法。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是人工智能幻觉？
AI 幻觉是指生成的内容将错误或无依据的信息呈现为可靠信息。流畅的措辞可能会掩盖虚构的引用、错误的数量或与所提供证据相矛盾的内容，因此需要进行验证。
为什么仅靠下一令牌预测无法验证生成答案中的事实声明？
训练目标关注的是预测文本；事实验证需要支持性证据。
为什么幻觉特别危险？
由于错误输出流畅且自信，因此它与正确答案融为一体，很容易让用户信任。
检索增强生成（RAG）能否完全消除幻觉？
RAG 通过将答案建立在真实来源的基础上来减少幻觉，但当检索不完善或与内部知识冲突时，模型仍然可能会产生幻觉。
哪个是幻觉的真实例子？
发明一个不存在但看起来很现实的引文是一种典型的幻觉——自信、具体和错误。
哪种工作流程可以帮助检查生成的事实答案？
基于事实的生成（Grounding）可以提供帮助，但引用的存在性和对声明的支持仍需验证。