概述
這是一種輕量化方式,可在不重新訓練任何東西的情況下禁止單詞、強制選擇或塑造風格。
深入探討
在模型選擇下一個標記之前,它會為其詞彙表中的每個標記產生一個 logit(非標準化分數)。 Logit 偏差可讓您透過數字標記 ID 將常數值新增至所選標記的 Logit 中。較大的正偏差使代幣更有可能被取樣;較大的負偏差(在 API 中通常為 -100)有效地禁止了它。由於調整發生在將分數轉換為機率的 softmax 之前,因此即使是適度的偏差也會有意義地改變分佈。至關重要的是,偏見的關鍵在於令牌 ID,而不是整個單字——因此多令牌單字可能需要其每個部分都存在偏見才能完全抑製或促進它。這是一種快速、外科手術式的控制,無需微調並可根據要求進行應用。
現實世界的實施
對髒話標記設定 -100 偏差,以防止聊天機器人產生某些單字。
透過對「是」和「否」標記給予強烈的正面偏見並抑制其他所有內容來強制是/否分類器。
透過對其標記施加適度的負面偏見來阻止過度使用的短語或填充詞。
增強特定領域的術語(例如產品名稱),以便摘要者可靠地提及它們。
Logit 偏差的未來
Logit 偏差仍然是快速引導的主要內容,但更豐富的替代方案正在增長:用於硬保證的結構化/約束解碼,以及推動模型內部向量而不僅僅是輸出分數的激活引導或表示工程。期望 API 將 logit 偏差作為一個簡單的逃生口,同時提供更高層級的控制(禁止短語、樣式指令、安全過濾器),自動處理標記化,以便開發人員不必推理原始標記 ID。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是 Logit Bias?
Logit 偏差是一個旋鈕,在模型選擇下一個單字之前,透過在其分數上添加固定數字,將語言模型推向或遠離特定標記。這是一種輕量級的方法,可以禁止字詞、強制選擇或塑造風格,而無需重新訓練任何內容。
Logit 偏差會改變什麼?
Logit 偏差為所選令牌 ID 的 logits 添加了一個常數,從而改變了它們被選擇的可能性,而無需更改模型本身。
在許多 API 中,令牌上的 logit 偏差為 -100 可以實現什麼效果?
像 -100 這樣的大負偏差會導致代幣的 post-softmax 機率基本上為零,因此它實際上永遠不會被產生。
文件中記載的 OpenAI Chat Completions logit_bias 接受 Token 的數值範圍為何?
API 參考文件為每個 token ID 提供 -100 到 100 的範圍,負值降低可能性,正值提高可能性。
Logit 偏差與什麼識別符有關?
偏差值應用於分詞器詞彙表中的特定分詞 ID,這就是為什麼您必須知道單字各個部分的 ID。
因為 logits 是透過 softmax 傳遞的,所以添加正偏差會產生什麼效果?
Softmax 對 logits 取冪,因此即使是適度的正偏差也會大幅增加代幣的非標準化權重,從而大幅提高其勝算。