トランスフォーマーの誘導ヘッドに関するクイズ

クイズに答えると、答えと解説が表示されます。

1. 誘導ヘッドは基本的にどのようなルールを実装しますか?
   • 言語内で最も頻繁に使用されるトークンを予測します
   • 常に前のトークンを変更せずにコピーします
   • コンテキストトークンをランダムにシャッフルする
   • 先ほどの [A][B] を見て、[A] で再度 [B] を予測します。
2. 引用された 2022 年の研究では、どの能力が誘導頭の動作に関連していましたか?
   • 仮説として組み立てられたより広範な大規模モデルの主張を使用した、調査されたモデルでのコンテキスト内学習
   • あらゆる形式の推論が同一の回路を 1 つだけ使用するという証明
   • プロンプトごとにトークナイザーの語彙を変更する
   • トークンが繰り返されると永続的な重みが更新されます
3. 「前のトークンヘッド」は誘導回路でどのような役割を果たしますか?
   • 最終的なソフトマックスを生成します
   • 位置情報を削除します
   • 各トークンの先行情報を前方にコピーして、一致が発生できるようにします。
   • 注意の重みを正規化します
4. 通常、標準誘導回路には何人のアテンション ヘッドが関与しますか?
   • まさに 1 つ
   • 2 つ目は、複数のレイヤーにわたって構成されています
   • 単一レイヤーに何百もの
   • ゼロ;フィードフォワードのみです
5. 誘導ヘッドの研究では、調査したモデルでどのようなトレーニング関係が報告されましたか?
   • 頭部の形成は、喪失行動の変化と状況に応じた学習の増加と同時に起こりました
   • すべての頭はトレーニング前に完全に形成されていました
   • 誘導動作は、すべてのパラメータが永久に凍結された後にのみ現れる可能性があります
   • まったく同じトレーニング移行が将来のすべてのモデルで発生する必要があります
6. 誘導ヘッドが最も直接的に処理できるタスクはどれですか?
   • 数値勾配の計算
   • モデルの重みを圧縮する
   • 入力プロンプトの暗号化
   • 以前に一致したトークンに続くものをコピーしてシーケンスを繰り返す
7. クエリ キーのマッチングと出力値のパスは、標準帰納回路でどのような役割を果たしますか?
   • クエリキーの計算により、最終的なテキスト ファイル名が生成されます。出力値の計算によりトークナイザーをトレーニングします
   • クエリキーの計算により、一致するコンテキストの位置が選択されます。出力値の計算により、そこにあるトークン情報が促進されます。
   • どちらのパスも、コンテキストワードの合計数のみをカウントします。
   • 出力値パスは注目パターンなしで位置を選択します
8. デモされた 2 ヘッド誘導回路は、すべての大型モデルのコンテキスト内タスクがそのメカニズムのみを使用していることを証明しますか?
   • はい;すべてのアーキテクチャとプロンプトはすでに因果関係でテストされています
   • はい。他のネットワーク計算は予測に影響を与えることはできません
   • いいえ。より広範な説明は依然として仮説であり、モデルおよびタスク固有の証拠が必要です
   • 証明が普遍的かどうかはパラメータの数だけで決まります