ガイド連動クイズ · 中 レベル

グループ化されたクエリの注意力クイズ

グループ化されたクエリ アテンションがどのようにキー/値ヘッドを共有し、生成時のキャッシュ コストを削減し、既存のチェックポイントから取得できるかを確認します。

関連するガイドパスグループ化されたクエリのアテンション
質問 1 の 8

グループ化されたクエリ アテンションでは、クエリ ヘッドのグループ間で何が共有されますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. グループ化されたクエリ アテンションでは、クエリ ヘッドのグループ間で何が共有されますか?
    • キーとバリューのヘッド
    • 出力投影のみ
    • 入力埋め込み
    • 学習率
  2. GQA は、どちらの両極端の中間点であると最もよく説明されますか?
    • 畳み込みと注意
    • 完全なマルチヘッド アテンションとマルチクエリ アテンション
    • FP32 および FP8 の精度
    • エンコーダ専用モデルとデコーダ専用モデル
  3. GQA は主に推論のどの部分を安価にしますか?
    • プロンプトのトークン化
    • トレーニング損失の計算
    • KV キャッシュ メモリと生成時の帯域幅
    • 語彙に関する最終的なソフトマックス
  4. モデルに 32 のクエリ ヘッドと 8 つの KV グループがある場合、KV キャッシュはおよそ何倍に減少しますか?
    • 約32倍
    • 約2倍
    • 減額なし
    • 約4倍
  5. What quality/speed tradeoff did the GQA paper report in its experiments?
    • Quality close to MHA with inference speed closer to MQA
    • Lower quality and slower inference than both
    • Exactly the same latency and quality for every model
    • A result only on image classification
  6. 既存のマルチヘッド モデルはどのようにして GQA に変換されることが多いですか?
    • すべての注目レイヤーを削除することで
    • 既存のチェックポイントからの短い「アップトレーニング」ステップにより
    • 別のトークナイザーに切り替えることにより
    • まったく変換できません
  7. Which task families did the GQA paper evaluate?
    • Image segmentation and object detection
    • Speech synthesis and speaker verification
    • Language modeling and machine translation
    • Molecular generation and toxicity prediction
  8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
    • 約50%
    • About 100%
    • No additional training compute
    • 約5%