クロスアテンションクイズ

クイズに答えると、答えと解説が表示されます。

1. 自己注意と交差注意の主な違いは何ですか?
   • クロスアテンションでは、クエリは 1 つのシーケンスから取得され、キー/値は別のシーケンスから取得されます。
   • クロスアテンションはソフトマックスを使用しません
   • 自己注意は画像に対してのみ機能します
   • 交差注意は勾配降下法ではトレーニングできません
2. エンコーダ/デコーダ Transformer では、クロスアテンションのクエリはどこから来るのでしょうか?
   • エンコーダの出力
   • デコーダの現在の状態
   • 生の入力エンベディングのみ
   • 別個のランダム行列
3. クロスアテンションの 2 つのシーケンスの長さやモダリティが異なるのはなぜですか?
   • 注意には等しい長さの入力が必要なため
   • シーケンスの 1 つを完全に無視するため、
   • クエリとキーは異なる独立したソースから取得されるため
   • 最初にすべてを固定サイズにパディングするため、
4. 安定拡散はクロスアテンションをどのように使用しますか?
   • 画像を小さいファイルに圧縮するには
   • 言語間でテキストを翻訳するには
   • オーディオからノイズを除去するには
   • テキスト プロンプトで生成された画像領域を調整するには
5. 交差注意が自己注意と共有する数学演算は何ですか?
   • ソフトマックスによるスケーリングされたドット積注意
   • ピクセルの畳み込み
   • 定期的な状態の更新
   • ハードコーディングされたルックアップ テーブル
6. What gate does Flamingo use to control information flow through its cross-attention layers?
   • A hard threshold initialized to one
   • A tanh gate initialized to zero
   • A fixed residual weight of 0.5
   • A learned vocabulary lookup table
7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
   • Only one image followed by a fixed-length label
   • Only text tokens with no visual inputs
   • Visual and textual data interleaved in arbitrary sequences
   • Only video frames with no text
8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
   • It replaces all text tokens with pixels
   • It prevents any information from passing between modalities
   • It performs only image resizing
   • It lets language-model layers incorporate visual features from image/video inputs