减少幻觉的验证链
验证链（Cove）是一种提示方法，模型起草答案，生成自己的事实检查问题，独立回答这些问题，然后修改草案。
概述
这很重要，因为它无需外部工具即可显着减少自信但错误的制造。
深入探讨
当语言模型表述流畅但错误的内容时，就会出现幻觉。 Meta 人工智能研究人员于 2023 年提出的验证链通过结构化自我检查来应对这一问题。该模型首先写出一个基线答案。然后，它会计划一系列有针对性的验证问题，以探究该草案中的事实主张，例如“这个人何时出生？”或“哪家公司发布了该产品？”。至关重要的是，它独立地回答每个验证问题，最好是在没有看到原始草稿的情况下，这样它就不会只是对早期的错误盖上橡皮图章。最后，它将验证答案与草稿进行比较，并生成更正的最终响应。在列出实体和撰写传记等任务中，与单一直接答案相比，Cove 减少了事实错误。
技术洞察
关键技巧是将验证与草案脱钩。如果模型在盯着原始文本的同时回答自己的检查问题，它往往会确认其先前的标记。通过单独回答问题或在单独的调用中回答问题，该模型可以更诚实地检索事实，揭示矛盾。该管道分为四个步骤：起草、计划验证、独立执行验证以及生成删除或修复不受支持的声明的修订答案。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
减少幻觉验证链的未来
CoVe 正在与检索和工具使用融合：验证问题将越来越多地通过搜索、计算器或数据库来回答，而不仅仅是模型的记忆，从而进一步提高准确性。期望代理框架能够融入自动验证循环，以及运行检查成本较低的更轻的蒸馏版本。与不确定性估计相结合，未来的系统可能仅对模型不确定的索赔触发验证，从而平衡成本与可靠性。
现实世界的实施
研究助理在向用户展示生成的传记之前仔细检查日期和姓名。
一个企业知识机器人根据自己的后续问题验证其引用的产品规格。
生成实体列表（例如，“出生于波士顿的政治家”）并删除未通过验证的实体。
医疗信息摘要器标记并修改其独立检查无法确认的声明。
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Chain-of-Verification for Hallucination Reduction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是减少幻觉的验证链？
验证链（Cove）是一种提示方法，模型起草答案，生成自己的事实检查问题，独立回答这些问题，然后修改草案。这很重要，因为它无需外部工具即可显着减少自信但错误的制造。
验证链的第一步是什么？
CoVe 首先生成一个初步的答案草案，随后进行验证和修改。
为什么 CoVe 独立于草案回答验证问题？
孤立地回答可以防止模型简单地确认它已经写下的声明。
规划步骤会产生什么样的问题？
该模型针对草案中的具体事实主张计划了验证问题。
CoVe的最后一步会产生什么？
将验证答案与草稿进行比较后，Cove 会输出更正后的最终响应。
Cove 是专门为了减少哪些问题而设计的？
Cove 的目标是流畅但错误的陈述，降低事实错误率。