工具形成者和自學工具的使用
Toolformer 是一種 2023 Meta AI 方法，可讓語言模型自學何時以及如何呼叫計算器、搜尋引擎和翻譯器等外部工具。
概述
Instead of humans labeling tool calls, the model generates and filters its own training examples, then fine-tunes on the ones that actually help.
深入探討
Toolformer，來自 Schick 等人。在 Meta AI，解決了一個悖論：大型模型擅長語言，但不擅長算術、新鮮事實和精確查找。訓練循環是自我監督的。該模型給出了一些顯示 API 呼叫語法的人工編寫範例，然後提示在大型文字語料庫的許多位置插入候選呼叫（以特殊標記包裝）。每個候選呼叫都會實際執行，並且結果會被拼接進去。只有當 API 結果比不呼叫或以不同方式呼叫更能降低模型對即將到來的真實文字的困惑時，關鍵過濾步驟才會保留工具呼叫。然後，該模型在這個經過過濾的、自行產生的資料集上進行微調，學習呼叫五個工具：計算器、QA 系統、搜尋引擎、翻譯器和日曆。
技術洞察
決定性的想法是自監督過濾目標。對於每個候選位置，Toolformer 會比較插入 API 結果與不插入 API 結果時預測以下標記的損失。損失減少超過閾值的呼叫將被保留；無用或嘈雜的呼叫將被丟棄。這意味著不需要對「正確」工具使用進行人工註釋，模型本身會決定哪些呼叫真正提供訊息，並且它會共同學習放置和參數。
戰略影響
成本與預算
多年來，架構決策決定著效能和營運成本。
更明確的決策
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
品質管控
更好的工程選擇可以減少生產中的可靠性事故。
Toolformer 和自學工具使用的未來
Toolformer 為當今的工具使用和函數呼叫代理奠定了基礎。前緣正在從固定的少數工具轉向運行時發現的數十或數百個工具，模型會推理調用哪個工具、連結呼叫和處理故障。期望與強化學習和代理循環更緊密地集成，再加上新 API 的即時學習，以便自學工具的使用成為一種標準功能，而不是專門的微調。
現實世界的實施
在句子中間呼叫計算器 API 以獲得精確的算術結果，而不是猜測數字答案。
查詢搜尋或 QA 系統以取得最新或很少見的事實資訊。
呼叫機器翻譯工具在生成的文字中呈現另一種語言的短語。
使用日曆/日期工具將「下週五」等相對引用解析為具體日期。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實際負載和資料條件下進行基準測試。
儀器監控錯誤、漂移和使用者影響。
在擴展之前準備回滾和事件回應路徑。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Toolformer and Self-Taught Tool Use quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Toolformer and Self-Taught Tool Use?
Toolformer 是一種 2023 Meta AI 方法，可讓語言模型自學何時以及如何呼叫計算器、搜尋引擎和翻譯器等外部工具。該模型不是人類標記工具調用，而是生成並過濾自己的訓練範例，然後對真正有幫助的範例進行微調。
Toolformer 學習工具所使用的方法有何獨特之處？
Toolformer 是自我監督的：該模型提出候選 API 調用，執行它們，並僅保留有用的調用，無需人工註釋正確用法。
Toolformer 使用哪個標準來決定是否保留候選 API 呼叫？
只有當插入其結果將模型對即將到來的真實文本的困惑/損失降低到閾值以上時，才會保留調用，表明它確實有用。
最初的 Toolformer 學會了使用哪一組工具？
Toolformer 經過訓練可以呼叫五個 API：計算器、問答系統、搜尋引擎、機器翻譯器和日曆。
Toolformer 過程中工具呼叫如何在文字中表示？
候選呼叫及其傳回的結果使用特殊標記內聯插入到文字中，因此模型可以一起學習放置和參數。
大型語言模型的哪些潛在弱點促使 Toolformer 誕生？
儘管語言技能很強，但法學碩士在精確算術、最新事實和精確資訊檢索方面遇到了困難，而這些都是外部工具可以提供的。