引導式測驗 · 中等 等級

前綴調整測驗

評估前綴調整的凍結主幹方法、每個任務的參數節省、注意力層放置以及自然語言生成任務的結果。

相關引導路徑前綴調優
問題 1 的 8

前綴調優實際上訓練什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 前綴調優實際上訓練什麼?
    • 模型的所有變壓器重量
    • 僅模型的輸出詞彙層
    • 每個任務的模型的單獨副本
    • 模型保持凍結狀態時的一組連續前綴向量
  2. 前綴向量注入哪裡?
    • 深入了解每個注意力層的鍵和值
    • 僅在最終輸出層
    • 僅進入損失函數
    • 嵌入前進入分詞器
  3. 誰引入了前綴調整以及大約何時引入的?
    • 2018 年OpenAI
    • 李和梁 2021 年在史丹佛大學
    • 2015 年Google
    • 2023 年Meta
  4. 為什麼前綴調整對於服務許多任務很有吸引力?
    • 它根本不需要訓練數據
    • 它使推理無需硬件即可運行
    • 每個任務只需要一個很小的前綴,而不是完整的模型副本
    • 它一次永久重寫所有任務的基本模型
  5. 經常使用什麼技巧來穩定前綴訓練?
    • 每一步將學習率加倍
    • 凍結前綴並訓練模型
    • 刪除所有註意力層
    • 透過稍後被丟棄的小型前饋網路重新參數化前綴
  6. 前綴調優在哪一類任務上特別出色?
    • 自然語言生成,例如表格到文字和摘要
    • 影像分類
    • 音訊波形合成
    • 資料庫索引
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • 約50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter