引導式測驗 · 中等 等級

重複懲罰和解碼控制測驗

比較溫度、top-k、top-p 和重複懲罰,包括 LLM 產生工作流程中採樣先前 logits 的變化。

相關引導路徑重複懲罰和解碼控制
問題 1 的 8

提高「溫度」參數對模型的輸出有何影響?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 提高「溫度」參數對模型的輸出有何影響?
    • 使其更加隨機和多樣化
    • 使其更具確定性和針對性
    • 永久更改模型的權重
    • 加速生成速度
  2. top-p(核心)取樣如何決定考慮哪些標記?
    • 無論機率如何,它都會保留固定數量的令牌
    • 它保留機率總和達到閾值的最小標記集
    • 它只保留單一最有可能的令牌
    • 它保留令牌的機率高於 50%
  3. 重複懲罰通常在什麼階段發生?
    • 論生成後的原始文本
    • 關於訓練數據
    • 關於 softmax 之前的 logits
    • 關於分詞器詞彙
  4. 在 OpenAI 的文字生成 API 中,presence 與 frequency 罰分有何不同?
    • 存在懲罰與令牌數量相關;頻率懲罰是平坦的
    • 它們是相同的
    • 兩者僅適用於第一個令牌
    • frequency 罰分會根據 token 出現的次數進行縮放;presence 罰分只要 token 曾出現過就會套用一次
  5. 在需要確定性抽樣的程式碼補全情境下,哪個設定最符合指南?
    • 溫度接近零
    • 溫度非常高
    • 高於 2.0 的高重複罰分
    • 高溫情況下 Top-p 為 1.0
  6. top-k 採樣有什麼作用?
    • 保持令牌總和為機率 k
    • 僅保留 k 個最可能的標記作為候選標記
    • 將所有 logits 乘以 k
    • 從訓練中刪除 k 個最不可能的標記
  7. 當重複罰分大於 1 時,標準 logits 處理器會如何調整先前見過的 token?
    • 它會將每個重複 token 的 logits 設為零
    • 它會對所有 token 均等地加上罰分
    • 它會將正向 logits 除以罰分,負向 logits 則乘以罰分
    • 它會永久將該 token 從詞彙表中移除
  8. top‑k 與 top‑p 抽樣有何不同?
    • top‑k 使用累積機率,而 top‑p 則固定一個數量
    • Top-k 會改變模型權重,而 top-p 會改變分詞器
    • 它們都是確定性解碼方法
    • Top-k 保留固定數量的候選項;top-p 保留基於機率質量的集合