引導式測驗 · 中等 等級
重複懲罰和解碼控制測驗
比較溫度、top-k、top-p 和重複懲罰,包括 LLM 產生工作流程中採樣先前 logits 的變化。
問題 1 的 8
提高「溫度」參數對模型的輸出有何影響?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 提高「溫度」參數對模型的輸出有何影響?
- 使其更加隨機和多樣化
- 使其更具確定性和針對性
- 永久更改模型的權重
- 加速生成速度
- top-p(核心)取樣如何決定考慮哪些標記?
- 無論機率如何,它都會保留固定數量的令牌
- 它保留機率總和達到閾值的最小標記集
- 它只保留單一最有可能的令牌
- 它保留令牌的機率高於 50%
- 重複懲罰通常在什麼階段發生?
- 論生成後的原始文本
- 關於訓練數據
- 關於 softmax 之前的 logits
- 關於分詞器詞彙
- 在 OpenAI 的文字生成 API 中,presence 與 frequency 罰分有何不同?
- 存在懲罰與令牌數量相關;頻率懲罰是平坦的
- 它們是相同的
- 兩者僅適用於第一個令牌
- frequency 罰分會根據 token 出現的次數進行縮放;presence 罰分只要 token 曾出現過就會套用一次
- 在需要確定性抽樣的程式碼補全情境下,哪個設定最符合指南?
- 溫度接近零
- 溫度非常高
- 高於 2.0 的高重複罰分
- 高溫情況下 Top-p 為 1.0
- top-k 採樣有什麼作用?
- 保持令牌總和為機率 k
- 僅保留 k 個最可能的標記作為候選標記
- 將所有 logits 乘以 k
- 從訓練中刪除 k 個最不可能的標記
- 當重複罰分大於 1 時,標準 logits 處理器會如何調整先前見過的 token?
- 它會將每個重複 token 的 logits 設為零
- 它會對所有 token 均等地加上罰分
- 它會將正向 logits 除以罰分,負向 logits 則乘以罰分
- 它會永久將該 token 從詞彙表中移除
- top‑k 與 top‑p 抽樣有何不同?
- top‑k 使用累積機率,而 top‑p 則固定一個數量
- Top-k 會改變模型權重,而 top-p 會改變分詞器
- 它們都是確定性解碼方法
- Top-k 保留固定數量的候選項;top-p 保留基於機率質量的集合