邏輯偏差
Logit 偏差是一個旋鈕，在模型選擇下一個單字之前，透過在其分數上添加固定數字，將語言模型推向或遠離特定標記。
概述
It is a lightweight way to ban words, force choices, or shape style without retraining anything.
深入探討
在模型選擇下一個標記之前，它會為其詞彙表中的每個標記產生一個 logit（非標準化分數）。 Logit 偏差可讓您透過數字標記 ID 將常數值新增至所選標記的 Logit 中。較大的正偏差使代幣更有可能被取樣；較大的負偏差（在 API 中通常為 -100）有效地禁止了它。由於調整發生在將分數轉換為機率的 softmax 之前，因此即使是適度的偏差也會有意義地改變分佈。至關重要的是，偏見的關鍵在於令牌 ID，而不是整個單字——因此多令牌單字可能需要其每個部分都存在偏見才能完全抑製或促進它。這是一種快速、外科手術式的控制，無需微調並可根據要求進行應用。
技術洞察
Logits 是實值分數； softmax 對它們求冪，因此在標準化之前向標記添加 +5 會將其非標準化權重乘以 e^5 (~148x)。新增 -100 會將其 post-softmax 機率推至基本上為零。因為分詞器使用子詞單元，所以「不快樂」這個詞可能是兩個標記；僅偏置第一部分並不能完全控制它。當人們試圖禁止某個特定單字但它仍然部分洩漏時，子詞粒度是主要問題。
戰略影響
速度與規模
語言工作流程可以在不犧牲一致性的情況下更快地移動。
交通與覆蓋範圍
它擴展了跨語言和溝通方式的訪問。
更明確的決策
團隊可以花更多時間進行判斷，而自動化則可以處理重複。
Logit 偏差的未來
Logit 偏差仍然是快速引導的主要內容，但更豐富的替代方案正在增長：用於硬保證的結構化/約束解碼，以及推動模型內部向量而不僅僅是輸出分數的激活引導或表示工程。期望 API 將 logit 偏差作為一個簡單的逃生口，同時提供更高層級的控制（禁止短語、樣式指令、安全過濾器），自動處理標記化，以便開發人員不必推理原始標記 ID。
現實世界的實施
對髒話標記設定 -100 偏差，以防止聊天機器人產生某些單字。
透過對「是」和「否」標記給予強烈的正面偏見並抑制其他所有內容來強制是/否分類器。
透過對其標記施加適度的負面偏見來阻止過度使用的短語或填充詞。
增強特定領域的術語（例如產品名稱），以便摘要者可靠地提及它們。
風險與防護欄
幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
及時的敏感性可能會在類似的請求中產生不一致的結果。
如果存取控制薄弱，敏感文字資料可能會暴露。
實施路線圖
在推出之前定義輸出格式、語氣和品質標準。
當準確性很重要時，請使用可信任來源進行地面回應。
為高風險輸出保留人工審查檢查點。
追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Logit Bias quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Logit Bias?
Logit 偏差是一個旋鈕，在模型選擇下一個單字之前，透過在其分數上添加固定數字，將語言模型推向或遠離特定標記。這是一種輕量級的方法，可以禁止字詞、強制選擇或塑造風格，而無需重新訓練任何內容。
Logit 偏差會改變什麼？
Logit 偏差為所選令牌 ID 的 logits 添加了一個常數，從而改變了它們被選擇的可能性，而無需更改模型本身。
在許多 API 中，令牌上的 logit 偏差為 -100 可以實現什麼效果？
像 -100 這樣的大負偏差會導致代幣的 post-softmax 機率基本上為零，因此它實際上永遠不會被產生。
為什麼禁止帶有 logit 偏差的單字有時會洩漏部分輸出？
分詞器將許多單字分割成多個子詞標記，因此僅對第一個部分進行偏置無法抑制整個單字。
Logit 偏差與什麼識別符有關？
偏差值應用於分詞器詞彙表中的特定分詞 ID，這就是為什麼您必須知道單字各個部分的 ID。
因為 logits 是透過 softmax 傳遞的，所以添加正偏差會產生什麼效果？
Softmax 對 logits 取冪，因此即使是適度的正偏差也會大幅增加代幣的非標準化權重，從而大幅提高其勝算。