引導式測驗 · 中等 等級
前綴調整測驗
評估前綴調整的凍結主幹方法、每個任務的參數節省、注意力層放置以及自然語言生成任務的結果。
問題 1 的 8
前綴調優實際上訓練什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 前綴調優實際上訓練什麼?
- 模型的所有變壓器重量
- 僅模型的輸出詞彙層
- 每個任務的模型的單獨副本
- 模型保持凍結狀態時的一組連續前綴向量
- 前綴向量注入哪裡?
- 深入了解每個注意力層的鍵和值
- 僅在最終輸出層
- 僅進入損失函數
- 嵌入前進入分詞器
- 誰引入了前綴調整以及大約何時引入的?
- 2018 年OpenAI
- 李和梁 2021 年在史丹佛大學
- 2015 年Google
- 2023 年Meta
- 為什麼前綴調整對於服務許多任務很有吸引力?
- 它根本不需要訓練數據
- 它使推理無需硬件即可運行
- 每個任務只需要一個很小的前綴,而不是完整的模型副本
- 它一次永久重寫所有任務的基本模型
- 經常使用什麼技巧來穩定前綴訓練?
- 每一步將學習率加倍
- 凍結前綴並訓練模型
- 刪除所有註意力層
- 透過稍後被丟棄的小型前饋網路重新參數化前綴
- 前綴調優在哪一類任務上特別出色?
- 自然語言生成,例如表格到文字和摘要
- 影像分類
- 音訊波形合成
- 資料庫索引
- What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
- About 10%
- About 0.1%
- 約50%
- All model parameters
- How did prefix-tuning perform in the paper’s low-data settings?
- It always matched full fine-tuning on every task
- It could not train with limited examples
- It outperformed full fine-tuning in some evaluated low-data cases
- It changed every backbone parameter