概述
產品以不同的方式使用該術語。实际问题是系统可以做什么、在谁的授权下以及如何验证完成情况。
重點摘要
- 指定權限和停止條件。
- 將外部指令視為不可信內容。
- 驗證最終狀態並揭露部分完成情況。
深入探討
典型的代理循环观察当前状态,选择操作,接收结果,并决定是否继续。该模型可以参与规划或行动选择,而普通软件则强制执行权限、预算和工具合同。定義執行前的停止條件。任务可以完成、被阻止、被取消或仅部分完成。在没有新证据的情况下重复尝试可能会浪费资源或重复产生有害的副作用。限制相关的操作次数、经过的时间和支出。外部内容可能包含与用户目标相冲突的指令。根据信任级别处理页面、消息和工具响应。描述某項操作的文件並未授予執行該操作的權限。評估實際結果。对于文件编辑代理,检查最终文件并运行适当的检查。对于帐户工作流程,验证预期帐户和状态。記錄足夠的證據來解釋什麼發生了變化,什麼仍然不確定。更多的自主权增加了明确边界和恢复程序的重要性。
04工作範例
行動前定義完成
假設代理商必須在周二下午 2 點建立草稿事件。在指定的日曆中。
後置條件包括正確的日曆、日期、時區、標題和草稿狀態。如果儲存到另一個日曆,僅成功的工具回應是不夠的。
在宣布任務完成之前,請閱讀結果記錄並報告任何不匹配的情況。
它顯示了什麼
本發明的工作流程演示了基於結果的驗證。
現實世界的實施
修復失敗的測試,然後重新運行並檢查變更。
收集授權記錄並產生來源可追溯的報告。
付諸實踐
為什麼這很重要
- 配裝選擇. 應用級設計決定了人工智慧是否能改善實際結果。
- 團隊與工作流程. 良好的工作流程整合可以創造使用者值得信賴的生產力效益。
- 風險與安全. 範圍明確的用例可以減少變更疲勞和實施風險。
留意
- 將損壞的流程自動化可能會加劇現有問題。
- 團隊可能會過度自動化並消除所需的人工判斷。
- 如果不持續評估輸出,品質可能會出現偏差。
後續步驟
- 繪製目前工作流程並確定摩擦最大的步驟。
- 在完全自動化之前定義人工檢查點。
- 對使用者進行提示、升級路徑和品質標準的訓練。
- 追蹤任務級結果以確認持續價值。
資料來源與延伸閱讀
- OWASPLLM申請中的過度代理
不斷探索
常見問題
代理是否需要不受限制的存取?
不會。狹窄的工具和權限可以支援有用的工作,同時限制錯誤的後果。