ガイド連動クイズ · 中 レベル

推測的解読クイズ

ドラフトと検証のデコード、正確なターゲット分布の保存、受け入れレートの制限、および高速化の実践的な測定について説明します。

関連するガイドパス投機的デコード
質問 1 の 8

投機的デコードによって大規模モデルからの生成がどのように高速化されるのでしょうか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 投機的デコードによって大規模モデルからの生成がどのように高速化されるのでしょうか?
    • 小規模なドラフト モデルは、大規模なモデルが並行して検証する複数のトークンを推測します。
    • モデルを半分のサイズに永久的に圧縮する
    • アテンションメカニズムの削除
    • より多くのデータでモデルをトレーニングする
  2. For a large model at low batch size, why can one-token autoregressive decoding be slow?
    • Each token requires internet access
    • Repeated reads of large model weights can make decoding memory-bandwidth bound
    • The model permanently stores a full copy of every possible output
    • The tokenizer performs the model’s matrix multiplications
  3. In greedy speculative decoding, what happens at the first token where draft and target predictions disagree?
    • The whole conversation is thrown away and restarted from scratch
    • ドラフトモデルはすぐに再トレーニングされます
    • The matching prefix is kept, the target token is used at the mismatch, and later draft tokens are discarded
    • 出力品質が永続的に低下する
  4. Under exact speculative sampling, how does the output distribution compare with sampling from the target model alone?
    • It is always lower quality but faster
    • It is identical only when the draft model is larger
    • It becomes deterministic regardless of target sampling
    • It is identical in distribution
  5. 投機的デコードによる高速化を最も直接的に決定するものは何でしょうか?
    • ドラフトモデルの推測の採用率
    • GPUの色
    • モデル名の長さ
    • 時刻
  6. MedusaとEAGLEのアプローチの共通点は何ですか？
    • 量子ハードウェアが必要です
    • 個別のスタンドアロンのドラフト モデルが不要になります。
    • 対象モデルを削除します
    • 画像に対してのみ機能します
  7. What should a serving team measure before claiming speculative decoding will speed up its workload?
    • Only the target model’s parameter count
    • Only whether the draft produces fluent text
    • Draft cost, target verification cost, accepted tokens and end-to-end latency under representative traffic
    • The number of tokenizer files
  8. In exact speculative sampling, what happens when a proposed token is rejected?
    • The whole conversation is discarded
    • The target model is permanently changed
    • The rejected token is kept without verification
    • A correction step samples from the distribution needed to preserve the target model’s output distribution