引導式測驗 · 中等 等級

推測性解碼草案模式測驗

探索草稿模型提案、目標驗證、拒絕採樣、接受機率、獎勵令牌和依賴工作負載的解碼速度。

相關引導路徑推測性解碼草案模型
問題 1 的 8

「草案」模型在推測解碼中的主要作用是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 「草案」模型在推測解碼中的主要作用是什麼?
    • 將大型模型永久壓縮為更少的參數
    • 將提示翻譯成其他語言
    • 快速提出多個候選token供大型模型驗證
    • 儲存過去的對話以供檢索
  2. 為什麼在合適的工作負載下,驗證一組草稿 Token 區塊可以加速目標模型的生成?
    • 驗證在任何區塊大小下都沒有計算成本
    • 驗證階段可以同時處理多個位置,並在接受的權杖之間分攤目標工作
    • 草稿模型的準確度保證高於目標模型
    • 對於每個被接受的權杖,都會跳過目標模型
  3. 在目標模型拒絕第一個令牌之後,起草的令牌會發生什麼?
    • 第一次不匹配之後的所有內容都將被丟棄
    • 無論如何他們都被接受了
    • 他們被送到第三個模型
    • 它們被緩存並在下一輪重用
  4. 在標準的精確推測式採樣拒絕程序及其假設下,它保留了什麼正確性屬性?
    • 每個可能的隨機數種子都對應相同的隨機序列
    • 保證所產生的每個陳述皆為真
    • 無論目標模型為何,草稿模型的分布
    • 目標模型設定的取樣分布
  5. 哪種機制區分了 EAGLE 的草稿方法與 Medusa 的額外解碼頭?
    • EAGLE 僅執行基於字數統計的詞彙檢索
    • EAGLE 在目標模型的特徵層級以自迴歸方式草擬
    • EAGLE 從每個演算法中移除了目標驗證
    • EAGLE 和 Medusa 是名稱不同但架構相同的系統
  6. 為什麼推測性解碼基準測試應該報告草稿-目標配對與接受率?
    • 每一個模型配對都保證有相同的加速效果
    • 接受率是用來衡量產生的事實是否正確
    • 加速效果取決於草擬與驗證的成本,以及接受了多少個提出的權杖
    • 目標模型的硬體和上下文長度不會影響效能
  7. 在精確推測性取樣中,某個提出的權杖其 q 為 0.2,p 為 0.1。請問它的接受機率是多少?
    • 0.1,因為只使用了 p
    • 0.2,因為只使用了 q
    • 1.0,因為提出的每個權杖都被接受了
    • 0.5,來自 min(1, p/q)
  8. 當草擬區塊中的每一個 Token 都被接受時,標準推測式取樣(speculative-sampling)演算法可以輸出什麼?
    • 被接受的區塊加上從目標模型額外取樣的一個 Token
    • 僅最後一個草擬的 Token,並捨棄被接受的前綴
    • 沒有經過目標取樣的任意額外草擬 Token
    • 在重新訓練草擬模型之前不輸出任何內容