引導式測驗 · 中等 等級
推測性解碼草案模式測驗
探索草稿模型提案、目標驗證、拒絕採樣、接受機率、獎勵令牌和依賴工作負載的解碼速度。
問題 1 的 8
「草案」模型在推測解碼中的主要作用是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 「草案」模型在推測解碼中的主要作用是什麼?
- 將大型模型永久壓縮為更少的參數
- 將提示翻譯成其他語言
- 快速提出多個候選token供大型模型驗證
- 儲存過去的對話以供檢索
- 為什麼在合適的工作負載下,驗證一組草稿 Token 區塊可以加速目標模型的生成?
- 驗證在任何區塊大小下都沒有計算成本
- 驗證階段可以同時處理多個位置,並在接受的權杖之間分攤目標工作
- 草稿模型的準確度保證高於目標模型
- 對於每個被接受的權杖,都會跳過目標模型
- 在目標模型拒絕第一個令牌之後,起草的令牌會發生什麼?
- 第一次不匹配之後的所有內容都將被丟棄
- 無論如何他們都被接受了
- 他們被送到第三個模型
- 它們被緩存並在下一輪重用
- 在標準的精確推測式採樣拒絕程序及其假設下,它保留了什麼正確性屬性?
- 每個可能的隨機數種子都對應相同的隨機序列
- 保證所產生的每個陳述皆為真
- 無論目標模型為何,草稿模型的分布
- 目標模型設定的取樣分布
- 哪種機制區分了 EAGLE 的草稿方法與 Medusa 的額外解碼頭?
- EAGLE 僅執行基於字數統計的詞彙檢索
- EAGLE 在目標模型的特徵層級以自迴歸方式草擬
- EAGLE 從每個演算法中移除了目標驗證
- EAGLE 和 Medusa 是名稱不同但架構相同的系統
- 為什麼推測性解碼基準測試應該報告草稿-目標配對與接受率?
- 每一個模型配對都保證有相同的加速效果
- 接受率是用來衡量產生的事實是否正確
- 加速效果取決於草擬與驗證的成本,以及接受了多少個提出的權杖
- 目標模型的硬體和上下文長度不會影響效能
- 在精確推測性取樣中,某個提出的權杖其 q 為 0.2,p 為 0.1。請問它的接受機率是多少?
- 0.1,因為只使用了 p
- 0.2,因為只使用了 q
- 1.0,因為提出的每個權杖都被接受了
- 0.5,來自 min(1, p/q)
- 當草擬區塊中的每一個 Token 都被接受時,標準推測式取樣(speculative-sampling)演算法可以輸出什麼?
- 被接受的區塊加上從目標模型額外取樣的一個 Token
- 僅最後一個草擬的 Token,並捨棄被接受的前綴
- 沒有經過目標取樣的任意額外草擬 Token
- 在重新訓練草擬模型之前不輸出任何內容