引導式測驗 · 硬 等級
注意力機制測驗
測試查詢-鍵-值注意力機制、softmax 縮放、平行注意力頭、密集注意力成本、加權值計算,以及用於生成的因果遮罩。
問題 1 的 8
token 注意力在形成輸出表示時結合了什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- token 注意力在形成輸出表示時結合了什麼?
- 整段對話在磁碟上的永久副本
- 使用計算出的權重來自允許位置的價值資訊
- 僅手動選擇沒有學習分數的關鍵字
- 移除每隔一個 token 的翻譯字典
- 2017 年哪一篇具有里程碑意義的論文介紹了 Transformer 架構?
- “影像辨識的深度殘差學習”
- “透過深度強化學習玩 Atari”
- “注意力就是你所需要的”
- “生成對抗網”
- 為每個注意力標記計算的三個向量是什麼?
- 查詢、鍵和值
- 輸入、輸出和偏置
- 平均、中位數和眾數
- 編碼器、解碼器和損失
- 公式softmax(QK^T / √d_k) V中,為什麼要除以√d_k?
- 將結果轉換為整數
- 刪除負數
- 使模型在 GPU 上運行
- 為了防止點積分數在 softmax 之前變得太大
- 為什麼密集的自我注意力機制會隨著極長的 token 序列而產生不斷增長的兩兩運算工作?
- 因為它必須從互聯網下載新數據
- 因為較長的文字總是包含較罕見的單字
- 因為成本隨著序列長度的平方而成長 (O(n²))
- 因為它切換到較慢的程式語言
- 多頭注意力機制透過獨立的學習投影提供了什麼能力?
- 保證每個頭都有一個獨特的命名含義
- 能夠以平行方式捕捉不同關係的多個注意力表示
- 移除每個 token 嵌入
- 按定義縮小詞彙表大小
- 在純量注意力範例中,數值二和六分別獲得四分之三和四分之一的權重。其加權輸出為何?
- 八
- 四
- 兩個
- 三
- 自迴歸文字解碼器中的因果注意力遮罩防止了什麼?
- 在形成當前位置的表示時使用後續的 token 位置
- 使用任何先前的 token
- 計算任何查詢或鍵向量
- 學習所有模型參數