应用指南

代理RAG

Agentic RAG 通过让代理在回答之前决定搜索的时间、内容和次数来升级普通的检索增强生成。

概述

Agentic RAG 通过让代理在回答之前决定搜索的时间、内容和次数来升级普通的检索增强生成。它不是一次固定的查找,而是循环推理、检索和细化。

Agentic RAG 专注于实际部署:将模型功能转化为可靠的日常工作流程,提供可衡量的价值。

深入探讨

经典的检索增强生成(RAG)只做一件事:接受用户的问题,从矢量存储中获取一些相关文档,并将它们填充到提示中。 Agentic RAG 使检索成为一项主动决策。代理首先会推理是否需要搜索、使用什么查询以及要查询哪个源。它可以将一个难题分解为子问题,对每个子问题进行检索,评估结果是否足够,如果不足够,则使用细化查询再次搜索。它可以根据问题在多个知识库之间路由、调用网络搜索或使用 SQL 数据库。这种迭代的工具选择行为可以处理多跳问题(“我们在德克萨斯州的哪些客户在政策更改后注册了?”),而单次 RAG 的回答效果很差,代价是更多的模型调用和延迟。

技术洞察

代理将猎犬视为工具。在每一轮中,它都可以选择一个检索操作,检查返回的块,判断它们的相关性,并决定使用重新制定的请求来回答或再次查询。具有停止条件(足够的证据或步骤限制)的循环控制迭代。一些设计添加了一个分级步骤,可以在生成之前过滤掉不相关的检索块,从而减少模型被偏离主题的上下文误导的机会。

掌握 Agentic RAG

Agentic RAG 通过让代理在回答之前决定搜索的时间、内容和次数来升级普通的检索增强生成。它不是一次固定的查找,而是循环推理、检索和细化。 Agentic RAG 专注于实际部署:将模型功能转化为可靠的日常工作流程,提供可衡量的价值。为了建立深入的理解,请将 Agentic RAG 视为一种操作模型,而不是单一功能:定义所需的结果,澄清假设,并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。

在实践中,使用 Agentic RAG 的强大团队专注于工作流程结果,而不是模型演示,并尽早定义人工检查点。他们记录明确的成功标准,根据实际数据和工作流程进行测试,并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。

应用级设计决定了人工智能是否能改善实际结果。与此同时,将损坏的流程自动化可能会加剧现有的问题。最具弹性的方法是将实验速度与治理规则结合起来:运行试点、捕获证据、发布决策日志,并随着模型行为、用户期望和监管要求的发展不断更新保障措施。

战略影响

应用级设计决定了人工智能是否能改善实际结果。

应用级设计决定了人工智能是否能改善实际结果。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

良好的工作流程集成可以创造用户值得信赖的生产力收益。

良好的工作流程集成可以创造用户值得信赖的生产力收益。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

范围明确的用例可以减少变更疲劳和实施风险。

范围明确的用例可以减少变更疲劳和实施风险。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

Agentic RAG 的未来

Agentic RAG 正在与更广泛的代理框架融合:检索与计算器、代码执行和 API 一起成为众多工具中的一种。期望更智能的查询规划、检索证据的自我分级以及过去检索的缓存以降低成本。更好的源路由将允许一个代理从内部文档、网络和结构化数据库中获取单一答案。主要的压力,准确性与延迟和费用,将推动自适应系统仅在问题确实需要时才使用大量的多步骤检索。

现实世界的实施

企业助手,根据问题决定是否查询HR手册、代码库wiki或SQL销售数据库。

一个研究助手,将“比较药物 A 和药物 B 的副作用”分为两次搜索,分别检索,然后进行综合。

支持机器人检索文档,判断文档是否不足,重新制定查询,并在回复之前再次搜索。

一种执行多跳检索、查找条款,然后搜索其引用的法规的法律工具。

实施模式

代理 RAG 实践

企业助手,根据问题决定是否查询HR手册、代码库wiki或SQL销售数据库。

企业助理根据问题决定是否查询 HR 手册、代码库 wiki 或 SQL 销售数据库。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会获得更好的结果。

代理 RAG 实践

一个研究助手,将“比较药物 A 和药物 B 的副作用”分为两次搜索,分别检索,然后进行综合。

一个研究助手,将“比较药物 A 和药物 B 的副作用”分为两次搜索,对每次搜索进行检索,然后进行综合。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会获得更好的结果。

代理 RAG 实践

支持机器人检索文档,判断文档是否不足,重新制定查询,并在回复之前再次搜索。

支持机器人检索文档,判断文档是否不足,重新制定查询,并在回复之前再次搜索。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会得到更好的结果。

代理 RAG 实践

一种执行多跳检索、查找条款,然后搜索其引用的法规的法律工具。

一种执行多跳检索、查找条款,然后搜索其引用的法规的法律工具。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会得到更好的结果。

风险与防护栏

!

将损坏的流程自动化可能会加剧现有问题。

!

团队可能会过度自动化并消除所需的人工判断。

!

如果不持续评估输出,质量可能会出现偏差。

实施路线图

1

绘制当前工作流程并确定摩擦最大的步骤。

绘制当前工作流程并确定摩擦最大的步骤。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

2

在完全自动化之前定义人工检查点。

在完全自动化之前定义人工检查点。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

3

对用户进行提示、升级路径和质量标准方面的培训。

对用户进行提示、升级路径和质量标准方面的培训。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

4

跟踪任务级结果以确认持续价值。

跟踪任务级结果以确认持续价值。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

不断探索