引導式測驗 · 硬 等級
推測流和多令牌預測測驗
檢查提案草案、目標驗證、接受的前綴、多令牌頭以及接受率影響解碼速度的原因。
問題 1 的 8
為什麼標準自回歸解碼在 GPU 上通常很慢?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼標準自回歸解碼在 GPU 上通常很慢?
- 令牌一次產生一個,導致每一步 GPU 未充分利用
- GPU 立即耗盡記憶體
- 它必須對每個令牌進行重新訓練
- 詞彙量太小
- 「起草者」在推測解碼中做什麼?
- 它獨自寫下最終的答案
- 它以低廉的價格提出了幾種候選未來代幣
- 它刪除低機率的令牌
- 它壓縮模型權重
- 推測解碼中如何維持輸出品質?
- 透過將機率四捨五入到零
- 透過使用更大的詞彙量
- 透過驗證僅接受與目標分佈相符的令牌
- 完全跳過驗證
- 美杜莎式多令牌預測與經典推測解碼有何不同?
- 它需要兩個獨立的大模型
- 它僅適用於圖像生成
- 它消除了任何前向傳遞的需要
- 它添加了額外的輕量級預測頭,以便一個模型起草和驗證
- 為什麼變壓器在解碼過程中驗證多個候選位置的成本幾乎與驗證一個候選位置的成本一樣低?
- 因為解碼受記憶體頻寬限制,而不是計算限制
- 因為它緩存了整個互聯網
- 因為驗證跳過了注意力層
- 因為GPU時脈速度加倍
- 主要決定投機或多令牌方法加速的因素是什麼?
- GPU的顏色
- 每步接受的平均令牌數
- 型號名稱的長度
- 磁碟大小
- A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
- A, B and C
- B and C only
- A, the matching prefix before the first mismatch
- None, even if A matches
- Why can speculative decoding preserve the target model’s output distribution?
- The drafter is guaranteed to be identical to the target
- The target model is never run
- All proposed tokens are accepted unconditionally
- A verification and correction rule accepts or rejects draft tokens according to the target distribution