ガイド連動クイズ · ハード レベル

注意メカニズムに関するクイズ

クエリ キー値のアテンション、ソフトマックス スケーリング、パラレル ヘッド、デンス アテンション コスト、重み付け値の計算、および生成のための因果マスキングをテストします。

関連するガイドパス注意メカニズム
質問 1 の 8

出力表現を形成する際、トークン アテンションは何を組み合わせますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 出力表現を形成する際、トークン アテンションは何を組み合わせますか?
    • 会話全体の永久コピーをディスク上に保存
    • 計算された重みを使用した、許可された位置からの値情報
    • 学習スコアのない手動で選択されたキーワードのみ
    • 1 つおきのトークンを削除する翻訳辞書
  2. 変圧器アーキテクチャを紹介した 2017 年の画期的な論文はどれですか?
    • 「画像認識のための深層残差学習」
    • 「深層強化学習でアタリをプレイ」
    • 「必要なのは注意力だけです」
    • 「敵対的生成ネットワーク」
  3. アテンションの各トークンに対して計算される 3 つのベクトルは何ですか?
    • クエリ、キー、値
    • 入力、出力、バイアス
    • 平均値、中央値、最頻値
    • エンコーダ、デコーダ、および損失
  4. 式 Softmax(QK^T / √d_k) V で、なぜ √d_k で割るのでしょうか?
    • 結果を整数に変換するには
    • 負の数値を削除するには
    • モデルを GPU で実行するには
    • ソフトマックスの前に内積スコアが大きくなりすぎないようにするため
  5. 密な自己注意には、非常に長いトークン シーケンスに対するペアワイズ作業の成長が含まれるのはなぜですか?
    • インターネットから新しいデータをダウンロードする必要があるため
    • 長いテキストには常に珍しい単語が含まれているため、
    • コストはシーケンス長の 2 乗 (O(n²)) に応じて増加するため、
    • 遅いプログラミング言語に切り替わるため
  6. 複数の頭の注意力は、個別に学習された投影を通じてどのような能力を提供しますか?
    • すべての頭に 1 つの固有の名前の意味があることを保証
    • さまざまな関係を並行して捉えることができるいくつかの注意表現
    • すべてのトークン埋め込みの削除
    • 定義による語彙サイズの削減
  7. スカラー アテンションの例では、値 2 と 6 は 4 分の 3 と 4 分の 1 の重みを受け取ります。重み付けされた出力は何ですか?
    • 8
    • 4
    • 2
    • 3
  8. 因果的注意マスクは自己回帰テキスト デコーダで何を防止しますか?
    • 現在の位置の表現を形成するときに後のトークン位置を使用する
    • Using any previous token
    • Computing any query or key vectors
    • Learning all model parameters