技術指南

為LLM代理設計工具

为 LLM 代理设计工具意味着编写语言模型读取的名称、描述、参数模式、输出和错误消息,以决定调用哪个函数以及如何调用它。

聆聽此指南AI 語音敘述 · ~3 min

本頁4 分鐘閱讀
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. LLM 代理設計工具的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

该模型永远不会看到您的代码,只会看到这段文本,因此模糊的描述或草率的模式会像错误一样可靠地产生错误的调用。

深入探討

工具定义包含模型所依赖的四个部分:名称、自然语言描述、输入模式(通常是 JSON 模式)以及工具发回的文本。每個都像提示一樣工作。该模型通过将用户的目标与描述进行匹配来决定是否调用工具,并使用参数名称、类型、枚举和示例来填充参数。好的名字是特定的和分組的。當代理程式連接到許多服務時,諸如 github_create_issue 和 jira_create_issue 之類的前綴可以使工具分開。好的描述会说明该工具的作用、何时使用它、何时不使用它以及它返回什么,就像您向新同事介绍的方式一样。參數應該說明它們的意義:user_id 比 id 更好,並且允許值的枚舉優於模型必須猜測的自由文字字串。輸出與輸入一樣重要。傳回數千行或原始內部 ID 會填入上下文視窗並隱藏重要的資訊。更好的工具返回可讀字段,預設分頁或截斷,有時提供簡潔或詳細模式。錯誤訊息應該告訴模型出了什麼問題以及接下來要嘗試什麼,因為模型會讀取它們並對其採取行動。一個常見的誤解是,更多的工具意味著更強大的代理。每個定義都會佔用上下文,而重疊的工具使選擇變得更加困難。隨著工具清單變長,準確性往往會下降,尤其是當工具看起來很相似時。不適用通用截止值。许多从业者开始在数十个工具中的某个地方发现问题,通常的修复方法是整合工具、按需加载它们或将工作分配给专门的代理。另一個誤解是工具應該一對一地反映現有的 API。座席通常使用圍繞人們實際執行的任務而設計的更少、更高層級的工具做得更好。

現實世界的實施

支援代理有兩個工具:search_orders 和 get_order。将它们重命名为orders_search_by_customer 和orders_get_by_id,并在每个描述中说明何时使用另一项,以减少发送到错误工具的调用数量。

採用自由文字日期欄位的日曆工具不斷顯示「下週二」。將架構更改為需要 ISO 8601 日期字串,並在說明中提供範例,從而消除了一整類解析失敗。

過去傳回原始「錯誤 1064」的資料庫工具現在會傳回「列建立日期不存在」。可用日期列:created_at、updated_at。代理在下一次嘗試時修復其查詢而不是放棄。

一個團隊向一個代理人暴露了 60 個幾乎重複的端點包裝器。将它们合并到十几个任务级工具中,例如用schedule_meeting代替单独的list_users、find_free_slots和create_event调用,使代理运行起来更快、更便宜。

LLM 代理設計工具的未來

工具設計正在成為自己的學科,模型提供者發布了指導意見,共享約定也透過模型上下文協議等協議傳播。一些平台现在可以按需搜索和加载工具定义,这减轻了保持列表简短的压力,尽管描述仍然必须足够清晰才能查找和选择。模型也被用來根據評估記錄來批評和重寫工具描述。基本规则不太可能改变:模型只能使用工具及其界面解释它,因此清晰的命名、严格的模式和有用的错误将保持中心地位。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the Designing Tools for LLM Agents quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 LLM 代理設計工具?

为 LLM 代理设计工具意味着编写语言模型读取的名称、描述、参数模式、输出和错误消息,以决定调用哪个函数以及如何调用它。该模型永远不会看到您的代码,只会看到这段文本,因此模糊的描述或草率的模式会像错误一样可靠地产生错误的调用。

模型實際上是用什麼來決定如何呼叫工具?

該模型永遠不會看到實作。它僅適用於文字介面:名稱、描述、輸入模式以及工具發回的任何內容。

為什麼代理商可能使用 github_create_issue 和 jira_create_issue 等前綴?

命名空間告訴模型工具屬於哪個服務。當多個服務提供類似的操作時,這一點很重要。

哪一種參數設計最有可能產生正確的參數?

枚舉和描述性名稱消除了猜測。該模型從有效的選項中進行選擇,而不是發明一種格式。

什麼樣的工具才是好的錯誤訊息?

模型讀取錯誤並決定下一步要做什麼。一條指出問題名稱和修復方法的訊息可使其在下次呼叫時恢復。

為什麼增加許多工具會降低代理性能?

每個定義都隨每個請求一起發送,該請求使用上下文。外觀相似的工具也會讓模型更難選擇正確的工具。