引導式測驗 · 中等 等級
溫度和採樣測驗
測試 Logit 溫度縮放、貪婪解碼、top-k 和核心候選過濾器、數值截止以及可預測生成的限制。
問題 1 的 8
升高溫度對模型的輸出有何影響?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 升高溫度對模型的輸出有何影響?
- 使其更具確定性和重複性
- 永久更改模型的權重
- 停用softmax函數
- 使其更加隨機和多樣化,有更多機會出現不尋常的標記
- 在採樣之前,模型的原始標記分數 (logits) 會透過以下方式轉換為機率:
- top-k 過濾器
- Softmax函數
- 反向傳播
- 分詞器
- 與 top-k 相比,什麼決定了 top-p 採樣中的候選集?
- Top-p 總是恰好保留十個 token
- 兩種方法都會保留每個詞彙 token
- Top-p 使用最小的前導集合,使累積機率達到門檻;top-k 使用固定的數量
- Top-k 使用累積門檻,而 top-p 使用固定的數量
- 從力學上來說,溫度其實對邏輯有什麼影響?
- 在softmax之前將每個logit除以T
- 為每個 logit 加一個隨機數
- 刪除最低的 logits
- 將最終機率乘以 T
- 對於結構化資料任務,選擇更可預測的標記選擇無法建立什麼?
- 已選擇解碼設定
- 生成的內容正確或有效
- 可以比較 token 分數
- 模型可以產生輸出
- 貪心解碼如何選擇下一個token?
- 它實際上是把每個 logits 除以零
- 它會均勻抽樣每個詞彙 token
- 它會永久重新訓練模型
- 它會選擇分數最高且符合條件的 token,而不是抽樣
- 兩個 token 的 logits 在溫度縮放前相差六。若正溫度為二,則它們的縮放差為何?
- 三
- Twelve
- 六
- 零
- 對於機率 0.55、0.30、0.10 與 0.05,top‑p 0.80 會保留多少個前導 token?
- 一
- 三
- 兩個
- 四