引導式測驗 · 中等 等級

比較解碼測驗

測試專家-業餘評分、共享令牌抑制、合理性過濾、解碼時間使用以及對比生成的評估。

相關引導路徑比較解碼
問題 1 的 8

在對比解碼中,小型「業餘」模型扮演什麼角色?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 在對比解碼中,小型「業餘」模型扮演什麼角色?
    • 減去其對數機率以抑制共享故障模式
    • 它直接生成最終的輸出文本
    • 它根據專家的錯誤進行微調
    • 當專家不確定時,它會取代專家
  2. 為什麼減去業餘愛好者的機率會減少重複和乏味的輸出?
    • 業餘愛好者受過訓練,絕不重複單字
    • 兩種模型都偏好通用和重複標記,因此對比將它們抵消
    • 業餘愛好者在生成後刪除重複的令牌
    • 一旦兩個模型投票就不可能重複
  3. 自適應合理性限制在對比解碼中扮演什麼角色?
    • It guarantees every remaining continuation is coherent and true
    • It replaces the expert distribution with the amateur distribution
    • It filters out candidates whose expert probability is too low relative to the expert’s top token
    • It forces every token to have equal probability
  4. 對比解碼中的評分公式大致是什麼?
    • log p_amateur 減 log p_expert
    • p_專家時間p_業餘
    • 兩個機率的平均值
    • log p_expert 減係數乘以 log p_amateur
  5. 對比解碼的一個關鍵實際優勢是:
    • 在推理時工作,無需額外訓練
    • 需要聯合重新訓練兩個模型
    • 僅適用於分類任務
    • 無需大型模型
  6. 後面哪一種方法將對比思想擴展到單一模型自己的層?
    • 集束搜尋
    • DoLa,對比早期層和晚期層
    • 貪心解碼
    • 溫標
  7. The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
    • 0.4
    • 0.1
    • 0.04
    • 0.004
  8. Why can contrastive decoding require more inference work than using the expert model alone?
    • It must retrain both models for every prompt
    • It replaces the vocabulary with image patches
    • It runs only the amateur model
    • It scores candidates with both an expert and an amateur model at inference time