引導式測驗 · 硬 等級

典型抽樣測驗

檢查典型的意外、基於熵的排名、典型_p 質量閾值以及與機率排名前 p 採樣的差異。

相關引導路徑典型採樣
問題 1 的 8

典型抽樣將每個候選令牌與什麼核心數量進行比較?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 典型抽樣將每個候選令牌與什麼核心數量進行比較?
    • 分佈的預期資訊內容(熵)
    • 模型的總體詞彙量
    • 標記在句子中的位置
    • 單獨溫度參數
  2. 典型採樣如何處理單一最可能的標記?
    • 它總是首先選擇它
    • 如果其驚喜遠低於預期值,則可能會排除它
    • 機率加倍
    • 它完全忽略了機率
  3. 典型的採樣是由哪種關於人類語言的想法激發的?
    • 人類總是選擇最罕見的單字
    • 人類從不重複單字
    • 人類以大致穩定的資訊速率進行交流
    • 人類用固定長度的句子說話
  4. 典型採樣控制中的tau參數是什麼?
    • 訓練期間的學習率
    • 模型中的層數
    • 最大句子長度
    • 收集到典型集合中的累積機率質量
  5. Compared with greedy decoding, what does typical sampling try to change?
    • It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
    • It always selects the most probable token
    • It guarantees every continuation is factually correct
    • It removes probability scores from decoding
  6. 開發人員通常會接觸到哪種軟體的典型採樣?
    • 電子表格應用程式
    • 開源 LLM 推理庫,例如 Hugging Face Transformers
    • 影像編輯工具
    • 資料庫查詢引擎
  7. How does typical sampling rank candidate tokens differently from top-p sampling?
    • By alphabetical order of token strings
    • By token position in the prompt
    • By distance between token surprisal and expected surprisal, rather than probability rank alone
    • By the model’s training loss
  8. Which value does typical_p control?
    • The model’s vocabulary size
    • The number of transformer layers
    • The probability that the answer is factually correct
    • The target cumulative probability mass collected in the typical set