引導式測驗 · 中等 等級

交叉注意力測驗

了解交叉注意力如何讓一個序列或模態查詢變壓器模型中另一個序列或模態的表示。

相關引導路徑交叉注意力
問題 1 的 8

自註意力和交叉注意力之間的主要區別是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 自註意力和交叉注意力之間的主要區別是什麼?
    • 在交叉注意力中,查詢來自一個序列,鍵/值來自另一個序列
    • 交叉注意力不使用softmax
    • 自註意力僅適用於影像
    • 交叉注意力不能用梯度下降來訓練
  2. 在編碼器-解碼器 Transformer 中,交叉注意力的查詢來自哪裡?
    • 編碼器的輸出
    • 解碼器當前狀態
    • 僅原始輸入嵌入
    • 單獨的隨機矩陣
  3. 為什麼交叉注意力中的兩個序列可以有不同的長度或模式?
    • 因為注意力需要等長的輸入
    • 因為它完全忽略了其中一個序列
    • 因為查詢和鍵來自不同的獨立來源
    • 因為它首先將所有內容填入固定大小
  4. 穩定擴散如何使用交叉注意力?
    • 將圖像壓縮為較小的文件
    • 在語言之間翻譯文本
    • 消除音訊中的噪音
    • 根據文字提示調節生成的圖像區域
  5. 交叉注意力與自註意力分享什麼數學運算?
    • 使用 softmax 縮放點積注意力
    • 像素卷積
    • 週期性狀態更新
    • 硬編碼查找表
  6. What gate does Flamingo use to control information flow through its cross-attention layers?
    • A hard threshold initialized to one
    • A tanh gate initialized to zero
    • A fixed residual weight of 0.5
    • A learned vocabulary lookup table
  7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
    • Only one image followed by a fixed-length label
    • Only text tokens with no visual inputs
    • Visual and textual data interleaved in arbitrary sequences
    • Only video frames with no text
  8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
    • It replaces all text tokens with pixels
    • It prevents any information from passing between modalities
    • It performs only image resizing
    • It lets language-model layers incorporate visual features from image/video inputs