引導式測驗 · 中等 等級

溫度和採樣測驗

測試 Logit 溫度縮放、貪婪解碼、top-k 和核心候選過濾器、數值截止以及可預測生成的限制。

相關引導路徑溫度和採樣
問題 1 的 8

升高溫度對模型的輸出有何影響?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 升高溫度對模型的輸出有何影響?
    • 使其更具確定性和重複性
    • 永久更改模型的權重
    • 停用softmax函數
    • 使其更加隨機和多樣化,有更多機會出現不尋常的標記
  2. 在採樣之前,模型的原始標記分數 (logits) 會透過以下方式轉換為機率:
    • top-k 過濾器
    • Softmax函數
    • 反向傳播
    • 分詞器
  3. 與 top-k 相比,什麼決定了 top-p 採樣中的候選集?
    • Top-p 總是恰好保留十個 token
    • 兩種方法都會保留每個詞彙 token
    • Top-p 使用最小的前導集合,使累積機率達到門檻;top-k 使用固定的數量
    • Top-k 使用累積門檻,而 top-p 使用固定的數量
  4. 從力學上來說,溫度其實對邏輯有什麼影響?
    • 在softmax之前將每個logit除以T
    • 為每個 logit 加一個隨機數
    • 刪除最低的 logits
    • 將最終機率乘以 T
  5. 對於結構化資料任務,選擇更可預測的標記選擇無法建立什麼?
    • 已選擇解碼設定
    • 生成的內容正確或有效
    • 可以比較 token 分數
    • 模型可以產生輸出
  6. 貪心解碼如何選擇下一個token?
    • 它實際上是把每個 logits 除以零
    • 它會均勻抽樣每個詞彙 token
    • 它會永久重新訓練模型
    • 它會選擇分數最高且符合條件的 token,而不是抽樣
  7. 兩個 token 的 logits 在溫度縮放前相差六。若正溫度為二,則它們的縮放差為何?
    • 三
    • Twelve
    • 六
    • 零
  8. 對於機率 0.55、0.30、0.10 與 0.05,top‑p 0.80 會保留多少個前導 token?
    • 一
    • 三
    • 兩個
    • 四