ガイド連動クイズ · ハード レベル

細分化されたプレフィルおよびデコードサービスに関するクイズ

プリフィルとデコードのボトルネック、KV キャッシュ転送、位相干渉、リソース調整、および細分化されたサービス システムをチェックします。

関連するガイドパス細分化されたプレフィルおよびデコードサービス
質問 1 の 8

プリフィルとデコードを異なる GPU プールに分離する主なハードウェアの理由は何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. プリフィルとデコードを異なる GPU プールに分離する主なハードウェアの理由は何ですか?
    • プレフィルはコンピューティングに依存する一方、デコードはメモリ帯域幅に依存する
    • 彼らは異なるプログラミング言語を使用しています
    • デコードにはプレフィルよりも多くの電力が必要です
    • Prefill は GPU ではまったく実行できません
  2. プレフィル ワーカーからデコード ワーカーに転送する必要があるデータ構造は何ですか?
    • モデルの重み
    • KV (キーバリュー) キャッシュ
    • トークナイザーの語彙
    • オプティマイザの状態
  3. 共有 GPU セットアップにおいて、分散によって具体的に軽減される問題はどれですか?
    • GPUドライバーがクラッシュする
    • インターネット上のネットワーク パケット損失
    • 長いプリフィルが他の人のデコードを遅らせるヘッドオブラインブロッキング
    • モデル幻覚
  4. プリフィルは積極的にバッチ処理できるのに、異なるチューニングによるメリットをデコードできるのはなぜですか?
    • デコードでは GPU は使用されません
    • プレフィルは 1 日に 1 回のみ実行されます
    • プレフィル中はバッチ処理は不可能です
    • プレフィル トークンは並行して読み取られ、パスごとのコンピューティング使用率が最大化されます。
  5. 非集約プール間で KV キャッシュを移動するために通常どのインターコネクトが使用されますか?
    • NVLink または InfiniBand
    • ダイヤルアップモデム
    • USB2.0ケーブル
    • ブルートゥース
  6. どの名前付きシステムが、細分化されたプレフィル/デコード サービスに関連付けられていますか?
    • TCP、UDP、HTTP
    • ディストサーブ、スプリットワイズ、ムーンケーキ
    • Word、Excel、PowerPoint
    • JPEG、PNG、GIF
  7. Why must the KV cache produced during prefill be available to the decode workers?
    • It contains the model’s optimizer state
    • It stores the user’s GPU allocation
    • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
    • It is needed only to calculate validation accuracy
  8. What is a resource-allocation benefit of separating prefill and decode pools?
    • Both phases must use identical batch sizes
    • The model no longer needs a KV cache
    • The scheduler can eliminate all network communication
    • Each phase can be sized and parallelized for its own compute or memory bottleneck