引導式測驗 · 硬 等級
典型抽樣測驗
檢查典型的意外、基於熵的排名、典型_p 質量閾值以及與機率排名前 p 採樣的差異。
問題 1 的 8
典型抽樣將每個候選令牌與什麼核心數量進行比較?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 典型抽樣將每個候選令牌與什麼核心數量進行比較?
- 分佈的預期資訊內容(熵)
- 模型的總體詞彙量
- 標記在句子中的位置
- 單獨溫度參數
- 典型採樣如何處理單一最可能的標記?
- 它總是首先選擇它
- 如果其驚喜遠低於預期值,則可能會排除它
- 機率加倍
- 它完全忽略了機率
- 典型的採樣是由哪種關於人類語言的想法激發的?
- 人類總是選擇最罕見的單字
- 人類從不重複單字
- 人類以大致穩定的資訊速率進行交流
- 人類用固定長度的句子說話
- 典型採樣控制中的tau參數是什麼?
- 訓練期間的學習率
- 模型中的層數
- 最大句子長度
- 收集到典型集合中的累積機率質量
- Compared with greedy decoding, what does typical sampling try to change?
- It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
- It always selects the most probable token
- It guarantees every continuation is factually correct
- It removes probability scores from decoding
- 開發人員通常會接觸到哪種軟體的典型採樣?
- 電子表格應用程式
- 開源 LLM 推理庫,例如 Hugging Face Transformers
- 影像編輯工具
- 資料庫查詢引擎
- How does typical sampling rank candidate tokens differently from top-p sampling?
- By alphabetical order of token strings
- By token position in the prompt
- By distance between token surprisal and expected surprisal, rather than probability rank alone
- By the model’s training loss
- Which value does typical_p control?
- The model’s vocabulary size
- The number of transformer layers
- The probability that the answer is factually correct
- The target cumulative probability mass collected in the typical set