引導式測驗 · 中等 等級
美杜莎解碼頭測驗
回顧 Medusa 的多標記預測頭、候選樹、樹注意力驗證、最長前綴接受和分佈保存。
問題 1 的 8
額外的美杜莎頭像預示著什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 額外的美杜莎頭像預示著什麼?
- 未來不同位置的多個未來代幣
- 模型的訓練損失
- 使用哪個 GPU
- 令牌的圖像標題
- 在哪種 Medusa 配置下,本文描述了無損推理加速?
- 它完美地壓縮了模型權重
- Medusa-1 with a frozen backbone and exact verification against the original model
- 它從來不會犯語法錯誤
- 它消除了對詞彙的需要
- Medusa 的候選延續被安排成什麼結構來驗證?
- 扁平化的榜單一一評分
- 哈希表
- 使用樹注意力掩模單次得分的樹
- 每個 token 的循環
- 與草稿模型推測解碼相比,Medusa 的主要優勢是什麼?
- 它需要兩個獨立的大模型
- 它僅適用於圖像
- 使用後會刪除基礎模型
- 透過為現有模型添加頭部,避免需要單獨的草稿模型
- Medusa 通常報告的加速大約是多少?
- 大約 2-3 倍
- 約 0.5 倍(較慢)
- 正好 100 倍
- 沒有可測量的變化
- 每個美杜莎頭像的結構是什麼樣的?
- 完整的複製變壓器
- 基本隱藏狀態之上的小型殘差前饋 (MLP) 層
- 卷積圖像編碼器
- 一個單獨的分詞器
- What does Medusa accept from a verified candidate tree?
- Every speculative branch regardless of verification
- Only the shortest candidate token
- The longest prefix consistent with the base model’s decoding result
- A random leaf from the tree
- How do Medusa’s prediction-head offsets differ?
- Every head predicts the same next token
- Each head predicts a different vocabulary
- The heads predict tokens only after decoding is complete
- Each head predicts a token at a different position ahead in the sequence