引導式測驗 · 硬 等級
使用 EAGLE 測驗進行推理解碼
檢查 EAGLE 特徵起草、目標驗證、分佈保存、回饋嵌入、動態草案樹和解碼成本。
問題 1 的 8
推測解碼背後的核心思想是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 推測解碼背後的核心思想是什麼?
- 廉價的起草者提出多個令牌,大型模型在一次並行傳遞中驗證這些令牌
- 將模型的權重壓縮到半精度
- 隨機跳過網路層
- 提前緩存每一個可能的輸出句子
- EAGLE 與早期的推測解碼方法有何不同?
- 它完全刪除了驗證步驟
- 它在模型的隱藏特徵空間中起草,而不是直接在令牌層級起草
- 它使用一個完全獨立的、更大的模型作為繪圖員
- 它僅適用於圖像生成
- 為什麼在透過精確驗證實現時推測解碼被認為是無損的?
- 每個草稿代幣都會被無條件接受
- 起草者總是預測目標的下一個標記
- 接受與修正過程保留了目標模型的輸出分佈
- 目標模型從未被評估
- 回饋前一個 token 的嵌入有助於解決 EAGLE 特徵起草中的什麼問題?
- GPU 上的記憶體碎片
- 語言之間的分詞器不匹配
- 硬體過熱
- 預測下一個特徵的不確定性/模糊性
- EAGLE-2 在原來的 EAGLE 基礎上添加了什麼?
- 動態草稿樹,可調整提議的候選人數量
- 固定的單一代幣草案
- LM 頭的拆卸
- 僅使用兩倍資料進行訓練
- 為什麼自回歸瓶頸會導致普通 LLM 生成速度變慢?
- 模型在每個標記後重新訓練自己
- 每個新令牌都需要完整前向傳遞數十億個參數,然後下一個令牌才能開始
- 步驟之間的令牌儲存在磁碟上
- GPU 必須根據令牌重新啟動
- EAGLE 預測隱藏狀態特徵後,哪個元件會將該特徵轉換為候選標記機率?
- 單獨的分詞器的詞彙文件
- 優化器的動量緩衝區
- 目標模型的語言模型頭
- KV 緩存分配器
- EAGLE-3對原來的特徵繪圖約束做了什麼改變?
- 它用標記器替換目標模型
- 它禁用目標驗證
- 它需要一個單獨的人類起草者
- 它消除了特徵預測約束以改善縮放