引導式測驗 · 中等 等級

Nucleus 和 Top-k 採樣測驗

了解 top-k、top-p 和溫度如何改變標記取樣,以及為什麼解碼選擇會改變產生的文字行為。

相關引導路徑核和 Top K 採樣
問題 1 的 8

top-k 採樣如何限制 token 選擇?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. top-k 採樣如何限制 token 選擇?
    • 它只保留 k 個最高機率的標記,然後在其中進行採樣
    • 它保留令牌直到累積機率超過 k
    • 它總是選擇單一最有可能的標記
    • 它只刪除 k 個最不可能的標記
  2. 什麼定義了核(top-p)採樣中的「核」?
    • 訓練資料中出現頻率最高的 k 個單字
    • 機率總和至少為 p 的最小標記集
    • 單一最高機率的令牌
    • 所有機率高於 50% 的代幣
  3. top-p 相對於 top-k 的主要優勢是什麼?
    • 計算總是更快
    • 它從不產生隨機輸出
    • 候選標記的數量適應模型的置信度
    • 它忽略了令牌機率
  4. 採樣前溫度參數有什麼作用?
    • 它設定最大序列長度
    • 它選擇輸出的語言
    • 它計算詞彙量的大小
    • 它將機率分佈重新調整為更尖銳或更平坦
  5. 核採樣論文對其測試的開放式生成任務報告了什麼結果?
    • It improved diversity without sacrificing fluency and coherence in the reported comparisons
    • It guaranteed factual correctness in every output
    • It eliminated all sampling randomness
    • It improved translation quality on every benchmark
  6. For a greedy decoding baseline with no token sampling, how should generation be configured?
    • Disable sampling and use greedy decoding to select the highest-probability token at each step
    • Use high temperature and a large nucleus threshold
    • Randomize the temperature at every step
    • Keep sampling enabled but increase top-p
  7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
    • They remain assigned their original total mass below one
    • They are replaced with equal probabilities
    • They are renormalized over the retained top-k tokens
    • They are converted into beam-search scores
  8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
    • It always yields the most diverse human-like passages
    • 它消除了對語言模型的需要
    • It guarantees factual correctness
    • It can produce bland and repetitive text despite strong likelihood scores