投機的ストリーミングとマルチトークン予測のクイズ

クイズに答えると、答えと解説が表示されます。

1. 標準の自己回帰デコードが GPU 上で遅くなることが多いのはなぜですか?
   • トークンは一度に 1 つずつ生成されるため、ステップごとに GPU が十分に使用されなくなります。
   • GPUのメモリがすぐに足りなくなる
   • トークンごとに再トレーニングする必要がある
   • 語彙が少なすぎる
2. 投機的解読において「起草者」は何をするのでしょうか?
   • 最終的な答えを単独で書きます
   • 複数の将来トークン候補を安く提案してくれる
   • 確率の低いトークンを削除します
   • モデルの重みを圧縮します
3. 投機的デコードでは出力品質はどのように維持されますか?
   • 確率をゼロに丸めることにより
   • より多くの語彙を使用することで
   • 対象のディストリビューションに一致するトークンのみを受け入れる検証による
   • 検証を完全にスキップすることで
4. Medusa スタイルのマルチトークン予測と古典的な投機的デコードの違いは何ですか?
   • 2 つの別々の大きなモデルが必要です
   • 画像生成のみに機能します
   • フォワードパスの必要がなくなります
   • 追加の軽量予測ヘッドを追加するので、1 つのモデルでドラフトと検証を行うことができます。
5. なぜトランスフォーマーは、デコード中に 1 つとほぼ同じくらい安価に多くの候補位置を検証できるのでしょうか?
   • デコードはメモリ帯域幅に依存しており、コンピューティングには依存しないため
   • インターネット全体をキャッシュするため
   • 検証では注目層がスキップされるため
   • GPUのクロック速度が2倍になるため
6. 投機的メソッドまたはマルチトークンメソッドによる高速化を主に決定するものは何ですか?
   • GPUの色
   • ステップごとに受け入れられるトークンの平均数
   • モデル名の長さ
   • ディスクのサイズ
7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
   • A, B and C
   • B and C only
   • A, the matching prefix before the first mismatch
   • None, even if A matches
8. Why can speculative decoding preserve the target model’s output distribution?
   • The drafter is guaranteed to be identical to the target
   • The target model is never run
   • All proposed tokens are accepted unconditionally
   • A verification and correction rule accepts or rejects draft tokens according to the target distribution