概述
产品以不同的方式使用该术语。实际问题是系统可以做什么、在谁的授权下以及如何验证完成情况。
主要要点
- 指定权限和停止条件。
- 将外部指令视为不可信内容。
- 验证最终状态并披露部分完成情况。
深入探讨
典型的代理循环观察当前状态，选择操作，接收结果，并决定是否继续。该模型可以参与规划或行动选择，而普通软件则强制执行权限、预算和工具合同。定义执行前的停止条件。任务可以完成、被阻止、被取消或仅部分完成。在没有新证据的情况下重复尝试可能会浪费资源或重复产生有害的副作用。限制相关的操作次数、经过的时间和支出。外部内容可能包含与用户目标相冲突的指令。根据信任级别处理页面、消息和工具响应。描述某项操作的文档并不授予执行该操作的权限。评估实际结果。对于文件编辑代理，检查最终文件并运行适当的检查。对于帐户工作流程，验证预期帐户和状态。记录足够的证据来解释什么发生了变化，什么仍然不确定。更多的自主权增加了明确边界和恢复程序的重要性。
04工作示例
行动前定义完成
假设代理必须在周二下午 2 点创建草稿事件。在指定的日历中。
后置条件包括正确的日历、日期、时区、标题和草稿状态。如果保存到另一个日历，仅成功的工具响应是不够的。
在宣布任务完成之前，阅读结果记录并报告任何不匹配的情况。
它显示了什么
本发明的工作流程演示了基于结果的验证。
现实世界的实施
修复失败的测试，然后重新运行并检查更改。
收集授权记录并生成来源可追溯的报告。
付诸实践
为什么这很重要
- 构建选择. 应用级设计决定了人工智能是否能改善实际结果。
- 团队与工作流程. 良好的工作流程集成可以创造用户值得信赖的生产力收益。
- 风险与安全. 范围明确的用例可以减少变更疲劳和实施风险。
留意
- 将损坏的流程自动化可能会加剧现有问题。
- 团队可能会过度自动化并消除所需的人工判断。
- 如果不持续评估输出，质量可能会出现偏差。
后续步骤
- 绘制当前工作流程并确定摩擦最大的步骤。
- 在完全自动化之前定义人工检查点。
- 对用户进行提示、升级路径和质量标准方面的培训。
- 跟踪任务级结果以确认持续价值。
资料来源与延伸阅读
- OWASPLLM申请中的过度代理
不断探索
常见问题
代理是否需要不受限制的访问？
不会。狭窄的工具和权限可以支持有用的工作，同时限制错误的后果。