アテンションロールアウトとヘッドプルーニングクイズ

クイズに答えると、答えと解説が表示されます。

1. 注意喚起の目標は何ですか?
   • 入力トークンからレイヤーを越えた出力までの累積的な情報フローを追跡するには
   • トランスフォーマーにさらにレイヤーを追加するには
   • 学習率を上げるには
   • 注意を畳み込みに変換するには
2. 単一レイヤーのアテンション マップだけでは説明が不十分な場合が多いのはなぜですか?
   • 注意力は決して計算されません
   • 情報が多くのレイヤーとヘッドにわたって混在しているため、1 つのマップが完全なパスを見逃しています
   • マップは常に均一です
   • トランスフォーマーには頭が一つしかない
3. アテンション ロールアウトは、残りの接続を考慮して各アテンション マトリックスに何を追加しますか?
   • バイアスゼロ
   • ランダムノイズ項
   • 正規化前の単位行列コンポーネント
   • 追加のソフトマックス
4. 複数の頭の注意に関する研究により、頭の冗長性について何が明らかになりましたか?
   • すべての頭が不可欠です
   • ヘッドは取り外しできません
   • 枝刈りを行うと常に精度が 2 倍になります
   • 精度をほとんど損なうことなく、多くのヘッドを剪定できます。
5. 剪定における頭の重要性は一般的にどのように見積もられますか?
   • ヘッドマスクに対する損失の勾配ベースの感度による
   • アルファベットの位置による
   • パラメータだけを数えることによって
   • 時間までに
6. What different jobs do attention rollout and head pruning each do?
   • それらは同一のテクニックです
   • ロールアウトは解釈を支援し、プルーニングは冗長性を利用してモデルを圧縮します。
   • どちらもパラメータを追加するだけです
   • どちらも注目を集めません
7. In an attention-rollout calculation, why are residual paths included with layer attention?
   • To make every head have the same weight
   • To remove the value vectors from the Transformer
   • To approximate information that can pass along the identity path when layer transitions are composed
   • To prevent the attention matrix from being normalized
8. How should an attention-rollout score be interpreted?
   • As proof that a token caused the output
   • As the exact value vector used at every layer
   • As a measure of how many heads the model contains
   • As a post-hoc approximation of relative token influence, not a causal explanation