引導式測驗 · 硬 等級

注意力機制測驗

測試查詢-鍵-值注意力機制、softmax 縮放、平行注意力頭、密集注意力成本、加權值計算,以及用於生成的因果遮罩。

相關引導路徑注意力機制
問題 1 的 8

token 注意力在形成輸出表示時結合了什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. token 注意力在形成輸出表示時結合了什麼?
    • 整段對話在磁碟上的永久副本
    • 使用計算出的權重來自允許位置的價值資訊
    • 僅手動選擇沒有學習分數的關鍵字
    • 移除每隔一個 token 的翻譯字典
  2. 2017 年哪一篇具有里程碑意義的論文介紹了 Transformer 架構?
    • “影像辨識的深度殘差學習”
    • “透過深度強化學習玩 Atari”
    • “注意力就是你所需要的”
    • “生成對抗網”
  3. 為每個注意力標記計算的三個向量是什麼?
    • 查詢、鍵和值
    • 輸入、輸出和偏置
    • 平均、中位數和眾數
    • 編碼器、解碼器和損失
  4. 公式softmax(QK^T / √d_k) V中,為什麼要除以√d_k?
    • 將結果轉換為整數
    • 刪除負數
    • 使模型在 GPU 上運行
    • 為了防止點積分數在 softmax 之前變得太大
  5. 為什麼密集的自我注意力機制會隨著極長的 token 序列而產生不斷增長的兩兩運算工作?
    • 因為它必須從互聯網下載新數據
    • 因為較長的文字總是包含較罕見的單字
    • 因為成本隨著序列長度的平方而成長 (O(n²))
    • 因為它切換到較慢的程式語言
  6. 多頭注意力機制透過獨立的學習投影提供了什麼能力?
    • 保證每個頭都有一個獨特的命名含義
    • 能夠以平行方式捕捉不同關係的多個注意力表示
    • 移除每個 token 嵌入
    • 按定義縮小詞彙表大小
  7. 在純量注意力範例中,數值二和六分別獲得四分之三和四分之一的權重。其加權輸出為何?
    • 八
    • 四
    • 兩個
    • 三
  8. 自迴歸文字解碼器中的因果注意力遮罩防止了什麼?
    • 在形成當前位置的表示時使用後續的 token 位置
    • 使用任何先前的 token
    • 計算任何查詢或鍵向量
    • 學習所有模型參數