引導式測驗 · 中等 等級
比較解碼測驗
測試專家-業餘評分、共享令牌抑制、合理性過濾、解碼時間使用以及對比生成的評估。
問題 1 的 8
在對比解碼中,小型「業餘」模型扮演什麼角色?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 在對比解碼中,小型「業餘」模型扮演什麼角色?
- 減去其對數機率以抑制共享故障模式
- 它直接生成最終的輸出文本
- 它根據專家的錯誤進行微調
- 當專家不確定時,它會取代專家
- 為什麼減去業餘愛好者的機率會減少重複和乏味的輸出?
- 業餘愛好者受過訓練,絕不重複單字
- 兩種模型都偏好通用和重複標記,因此對比將它們抵消
- 業餘愛好者在生成後刪除重複的令牌
- 一旦兩個模型投票就不可能重複
- 自適應合理性限制在對比解碼中扮演什麼角色?
- It guarantees every remaining continuation is coherent and true
- It replaces the expert distribution with the amateur distribution
- It filters out candidates whose expert probability is too low relative to the expert’s top token
- It forces every token to have equal probability
- 對比解碼中的評分公式大致是什麼?
- log p_amateur 減 log p_expert
- p_專家時間p_業餘
- 兩個機率的平均值
- log p_expert 減係數乘以 log p_amateur
- 對比解碼的一個關鍵實際優勢是:
- 在推理時工作,無需額外訓練
- 需要聯合重新訓練兩個模型
- 僅適用於分類任務
- 無需大型模型
- 後面哪一種方法將對比思想擴展到單一模型自己的層?
- 集束搜尋
- DoLa,對比早期層和晚期層
- 貪心解碼
- 溫標
- The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
- 0.4
- 0.1
- 0.04
- 0.004
- Why can contrastive decoding require more inference work than using the expert model alone?
- It must retrain both models for every prompt
- It replaces the vocabulary with image patches
- It runs only the amateur model
- It scores candidates with both an expert and an amateur model at inference time