概述
该模型永远不会看到您的代码,只会看到这段文本,因此模糊的描述或草率的模式会像错误一样可靠地产生错误的调用。
深入探討
工具定义包含模型所依赖的四个部分:名称、自然语言描述、输入模式(通常是 JSON 模式)以及工具发回的文本。每個都像提示一樣工作。该模型通过将用户的目标与描述进行匹配来决定是否调用工具,并使用参数名称、类型、枚举和示例来填充参数。好的名字是特定的和分組的。當代理程式連接到許多服務時,諸如 github_create_issue 和 jira_create_issue 之類的前綴可以使工具分開。好的描述会说明该工具的作用、何时使用它、何时不使用它以及它返回什么,就像您向新同事介绍的方式一样。參數應該說明它們的意義:user_id 比 id 更好,並且允許值的枚舉優於模型必須猜測的自由文字字串。輸出與輸入一樣重要。傳回數千行或原始內部 ID 會填入上下文視窗並隱藏重要的資訊。更好的工具返回可讀字段,預設分頁或截斷,有時提供簡潔或詳細模式。錯誤訊息應該告訴模型出了什麼問題以及接下來要嘗試什麼,因為模型會讀取它們並對其採取行動。一個常見的誤解是,更多的工具意味著更強大的代理。每個定義都會佔用上下文,而重疊的工具使選擇變得更加困難。隨著工具清單變長,準確性往往會下降,尤其是當工具看起來很相似時。不適用通用截止值。许多从业者开始在数十个工具中的某个地方发现问题,通常的修复方法是整合工具、按需加载它们或将工作分配给专门的代理。另一個誤解是工具應該一對一地反映現有的 API。座席通常使用圍繞人們實際執行的任務而設計的更少、更高層級的工具做得更好。
現實世界的實施
支援代理有兩個工具:search_orders 和 get_order。将它们重命名为orders_search_by_customer 和orders_get_by_id,并在每个描述中说明何时使用另一项,以减少发送到错误工具的调用数量。
採用自由文字日期欄位的日曆工具不斷顯示「下週二」。將架構更改為需要 ISO 8601 日期字串,並在說明中提供範例,從而消除了一整類解析失敗。
過去傳回原始「錯誤 1064」的資料庫工具現在會傳回「列建立日期不存在」。可用日期列:created_at、updated_at。代理在下一次嘗試時修復其查詢而不是放棄。
一個團隊向一個代理人暴露了 60 個幾乎重複的端點包裝器。将它们合并到十几个任务级工具中,例如用schedule_meeting代替单独的list_users、find_free_slots和create_event调用,使代理运行起来更快、更便宜。
LLM 代理設計工具的未來
工具設計正在成為自己的學科,模型提供者發布了指導意見,共享約定也透過模型上下文協議等協議傳播。一些平台现在可以按需搜索和加载工具定义,这减轻了保持列表简短的压力,尽管描述仍然必须足够清晰才能查找和选择。模型也被用來根據評估記錄來批評和重寫工具描述。基本规则不太可能改变:模型只能使用工具及其界面解释它,因此清晰的命名、严格的模式和有用的错误将保持中心地位。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是 LLM 代理設計工具?
为 LLM 代理设计工具意味着编写语言模型读取的名称、描述、参数模式、输出和错误消息,以决定调用哪个函数以及如何调用它。该模型永远不会看到您的代码,只会看到这段文本,因此模糊的描述或草率的模式会像错误一样可靠地产生错误的调用。
模型實際上是用什麼來決定如何呼叫工具?
該模型永遠不會看到實作。它僅適用於文字介面:名稱、描述、輸入模式以及工具發回的任何內容。
為什麼代理商可能使用 github_create_issue 和 jira_create_issue 等前綴?
命名空間告訴模型工具屬於哪個服務。當多個服務提供類似的操作時,這一點很重要。
哪一種參數設計最有可能產生正確的參數?
枚舉和描述性名稱消除了猜測。該模型從有效的選項中進行選擇,而不是發明一種格式。
什麼樣的工具才是好的錯誤訊息?
模型讀取錯誤並決定下一步要做什麼。一條指出問題名稱和修復方法的訊息可使其在下次呼叫時恢復。
為什麼增加許多工具會降低代理性能?
每個定義都隨每個請求一起發送,該請求使用上下文。外觀相似的工具也會讓模型更難選擇正確的工具。