引導式測驗 · 中等 等級

Logit 偏差測驗

檢視 Token-ID Logit Bias 如何改變取樣、其子詞 (subword) 限制,以及為什麼 Token 層級的控制可能會影響比預期更多的文字。

相關引導路徑邏輯偏差
問題 1 的 8

Logit 偏差會改變什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. Logit 偏差會改變什麼?
    • 採樣前特定token的得分(logit)
    • 模型的訓練權重永久不變
    • 全程提示溫度
    • 上下文視窗中的標記數量
  2. 在許多 API 中,令牌上的 logit 偏差為 -100 可以實現什麼效果?
    • 使令牌的可能性增加 100 倍
    • 有效禁止產生token
    • 從詞彙表中永久刪除該標記
    • 模型速度加倍
  3. 文件中記載的 OpenAI Chat Completions logit_bias 接受 Token 的數值範圍為何?
    • 僅從 0 到 1
    • 僅從 -1 到 1
    • 從 -100 到 100
    • 任何字串值
  4. Logit 偏差與什麼識別符有關?
    • 純文字單字
    • 句子的位置
    • 模特兒的名字
    • 數字令牌 ID
  5. 因為 logits 是透過 softmax 傳遞的,所以添加正偏差會產生什麼效果?
    • 它在標準化之前以指數方式提高代幣的相對權重
    • 它線性地增加了一個固定的機率
    • 訓練之前沒有效果
    • 它將令牌從考慮中刪除
  6. 與微調相比,logit 偏差的一個關鍵優勢是:
    • 永久提高模型的知識
    • 無需再培訓並根據要求適用
    • 增加上下文視窗大小
    • 僅適用於影像
  7. 為什麼開發者在對可見單字套用偏差(bias)之前,應該先檢查分詞器(tokenizer)?
    • Token ID 僅在取樣後才會被指派
    • 可見單字總是等於一個 Token
    • 單字可能由多個 Token ID 表示,因此對單一 ID 套用偏差可能無法涵蓋所有形式
    • 分詞器控制模型的訓練資料
  8. 對單一 Token 套用強正向偏差的實際風險是什麼?
    • 它會增加上下文視窗
    • 它會永久改變模型權重
    • 它保證該 Token 精確出現一次
    • 它可能會扭曲生成結果或產生重複、生硬的文字