引導式測驗 · 硬 等級

使用 EAGLE 測驗進行推理解碼

檢查 EAGLE 特徵起草、目標驗證、分佈保存、回饋嵌入、動態草案樹和解碼成本。

問題 1 的 8

推測解碼背後的核心思想是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 推測解碼背後的核心思想是什麼?
    • 廉價的起草者提出多個令牌,大型模型在一次並行傳遞中驗證這些令牌
    • 將模型的權重壓縮到半精度
    • 隨機跳過網路層
    • 提前緩存每一個可能的輸出句子
  2. EAGLE 與早期的推測解碼方法有何不同?
    • 它完全刪除了驗證步驟
    • 它在模型的隱藏特徵空間中起草,而不是直接在令牌層級起草
    • 它使用一個完全獨立的、更大的模型作為繪圖員
    • 它僅適用於圖像生成
  3. 為什麼在透過精確驗證實現時推測解碼被認為是無損的?
    • 每個草稿代幣都會被無條件接受
    • 起草者總是預測目標的下一個標記
    • 接受與修正過程保留了目標模型的輸出分佈
    • 目標模型從未被評估
  4. 回饋前一個 token 的嵌入有助於解決 EAGLE 特徵起草中的什麼問題?
    • GPU 上的記憶體碎片
    • 語言之間的分詞器不匹配
    • 硬體過熱
    • 預測下一個特徵的不確定性/模糊性
  5. EAGLE-2 在原來的 EAGLE 基礎上添加了什麼?
    • 動態草稿樹,可調整提議的候選人數量
    • 固定的單一代幣草案
    • LM 頭的拆卸
    • 僅使用兩倍資料進行訓練
  6. 為什麼自回歸瓶頸會導致普通 LLM 生成速度變慢?
    • 模型在每個標記後重新訓練自己
    • 每個新令牌都需要完整前向傳遞數十億個參數,然後下一個令牌才能開始
    • 步驟之間的令牌儲存在磁碟上
    • GPU 必須根據令牌重新啟動
  7. EAGLE 預測隱藏狀態特徵後,哪個元件會將該特徵轉換為候選標記機率?
    • 單獨的分詞器的詞彙文件
    • 優化器的動量緩衝區
    • 目標模型的語言模型頭
    • KV 緩存分配器
  8. EAGLE-3對原來的特徵繪圖約束做了什麼改變?
    • 它用標記器替換目標模型
    • 它禁用目標驗證
    • 它需要一個單獨的人類起草者
    • 它消除了特徵預測約束以改善縮放