概述
與 API 返回的結束原因一起,它們決定答案的結束位置,並告訴您它是自然結束還是被切斷。正確處理它們可以防止 JSON 被截斷、半成品答案和浪費的開支。
深入探討
語言模型一次產生一個標記,直到有東西告訴它停止。它停止的常見原因有三。它產生自己的回合結束標記,這意味著它決定答案是完整的。它達到了您允許的最大輸出令牌數。或者它會產生與您的停止序列之一相符的文字。最大令牌經常與上下文視窗混淆。上下文視窗是模型一次可以處理的標記總數,輸入加輸出。最大令牌僅限制單一呼叫的輸出。如果最大標記設定得很低,且輸入加上最大標記通常必須適合上下文窗口,則具有非常大上下文視窗的模型仍然可以產生短響應。 API 報告產生結束的原因。 OpenAI 的聊天完成 API 傳回 finish_reason,例如自然結束或匹配的停止序列的「stop」、達到輸出限制時的「length」以及模型想要呼叫工具時的「tool_calls」。 Anthropic 的訊息 API 傳回 stop_reason,例如「end_turn」、「max_tokens」、「stop_sequence」或「tool_use」。 Anthropic 每個請求都需要 max_tokens。對於其推理模型,OpenAI 引入了 max_completion_tokens,它計算隱藏的推理標記以及可見的輸出。停止序列對於結構化格式非常有用:在結束標記之後結束、在發言者標籤之前停止或在一個清單項目之後切斷。匹配的文字通常不包含在返回的輸出中,因此程式碼不應期望看到它。最常見的錯誤是忽略完成原因。被截斷的回應看起來似乎很有道理,尤其是散文,而結構化的輸出則很容易被破壞。另一個誤解是較低的最大標記會使模型編寫簡潔。事實並非如此;模型以正常方式寫入並被切斷。要求提示簡潔並使用限製作為安全上限。
現實世界的實施
摘要器將最大標記設為 150,並且某些摘要在句子中間結束;檢查完成原因會顯示這些呼叫的“長度”,因此應用程式會提高限制並要求在提示中提供較短的摘要。
以 JSON 形式提取資料的腳本大約有 50 分之一的回應無法解析;每次失敗都達到了輸出限制,因此當完成原因表明輸出被截斷時,程式碼現在會以更高的限制重試。
一次產生一行對話的開發人員使用停止序列“使用者:”,因此模型不會繼續並寫入使用者的下一行。
轉向推理模型的團隊會發現答案為空,因為隱藏推理耗盡了輸出限制,因此他們提高了限制,為推理和答案留出空間。
最大令牌和停止序列的未來
隨著模型支援更長的生成,輸出限制也隨之增加,而限制對模式響應的結構化輸出功能會減少(但不能消除)截斷風險,因為足夠長的響應仍然可能達到上限。推理模型使輸出預算變得更加重要,因為隱藏的令牌現在共享相同的限制。參數名稱和完成原因值在提供者之間有所不同,並且隨著時間的推移而發生變化,因此檢查當前文件並將這些詳細資訊包裝在您自己的程式碼的一小層中是明智的。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是最大令牌和停止序列?
最大令牌是模型在一次回應中可以產生的令牌數量的上限,而停止序列則是模型產生後立即結束產生的字串。與 API 返回的結束原因一起,它們決定答案的結束位置,並告訴您它是自然結束還是被切斷。正確處理它們可以防止 JSON 被截斷、半成品答案和浪費的開支。
最大代幣數量有什麼限制?
最大令牌限制一次呼叫的輸出。上下文視窗是涵蓋輸入和輸出的單獨總限制。
您的呼叫在 OpenAI 的 API 中傳回「長度」的完成原因。發生了什麼事?
「length」表示由於達到輸出限製而停止生成,因此響應可能不完整。
哪一個 Anthropic stop_reason 表示模型決定其答案已完成?
'end_turn' 表示模型自然結束。 「max_tokens」表示它被切斷,「stop_sequence」表示符合的字串之一。
為什麼設定較低的最大標記值不能使答案簡潔?
這個限制是硬停止,而不是指令。要求提示簡潔,並將限製作為安全上限。
匹配的停止序列通常包含在傳回的文字中嗎?
停止序列結束產生並且通常不包含在返回的輸出中,因此您的程式碼不應依賴查看它們。