EAGLE クイズを使用した推測的デコード

クイズに答えると、答えと解説が表示されます。

1. 投機的デコードの背後にある中心となるアイデアは何ですか?
   • 安価な製図者は、大規模なモデルが 1 つの並列パスで検証する複数のトークンを提案します
   • モデルの重みを半分の精度に圧縮する
   • ネットワークの層をランダムにスキップする
   • 可能なすべての出力文を事前にキャッシュする
2. EAGLE は以前の投機的デコード手法とどのように異なりますか?
   • 検証ステップを完全に削除します
   • トークンレベルで直接ではなく、モデルの隠れた特徴空間でドラフトします。
   • ドラフターとして完全に独立した大きなモデルを使用します。
   • 画像生成のみに機能します
3. Why is speculative decoding considered lossless when implemented with exact verification?
   • Every draft token is accepted unconditionally
   • The drafter always predicts the target’s next token
   • The acceptance and correction procedure preserves the target model’s output distribution
   • The target model is never evaluated
4. EAGLE の機能草案におけるどのような問題が、以前のトークンの埋め込みをフィードバックすることで解決に役立ちますか?
   • GPU 上のメモリの断片化
   • 言語間のトークナイザーの不一致
   • ハードウェアの過熱
   • 次の機能を予測する際の不確実性/曖昧さ
5. EAGLE-2 はオリジナルの EAGLE に何を追加しましたか?
   • 提案する候補者の数を調整する動的なドラフト ツリー
   • 固定の単一トークンのドラフト
   • LMヘッドの取り外し
   • 2 倍のデータのみでトレーニングする
6. 自己回帰のボトルネックにより、プレーン LLM の生成が遅くなるのはなぜですか?
   • モデルはトークンごとに自身を再トレーニングします
   • 新しいトークンはそれぞれ、次のトークンを開始する前に、数十億のパラメーターを介した完全な前方パスが必要です。
   • トークンはステップ間でディスクに保存されます
   • GPU はトークンごとに再起動する必要があります
7. After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
   • The tokenizer’s vocabulary file alone
   • The optimizer’s momentum buffer
   • The target model’s language-model head
   • The KV-cache allocator
8. What change does EAGLE-3 make to the original feature-drafting constraint?
   • It replaces the target model with a tokenizer
   • It disables target verification
   • It requires a separate human drafter
   • It removes a feature-prediction constraint to improve scaling