引導式測驗 · 中等 等級
提示調音測驗
檢查輸入層的軟提示、凍結模型設定以及為提示調整而報告的與比例相關的結果。
問題 1 的 8
什麼是提示調音中的「軟提示」?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 什麼是提示調音中的「軟提示」?
- 學習到的連續嵌入向量不需要映射到真實單字
- 措辭禮貌的文字說明
- 模型的較小精煉副本
- 一組凍結的輸出 logits
- 即時調優在哪裡添加其可訓練向量?
- 在每個變壓器層
- 僅在輸入嵌入層
- 僅在輸出層
- 優化器狀態內部
- 原論文強調了模型規模的哪些令人驚訝的效果?
- 隨著模型的增長,即時調整變得更糟
- 音階對提示調整沒有影響
- 隨著模型變得越來越大,即時調整接近完全微調質量
- 較大的模型無法再進行即時調整
- 誰引入了即時調整?
- 2016年DeepMind
- 2023 年Anthropic
- 2019 年Microsoft
- 2021 年 Google(Lester、Al-Rfou、Constant)的研究人員
- 快速調優如何能夠從一個模型提供多項任務?
- 每個任務都使用自己的微小軟提示,而模型保持凍結狀態
- 它針對每個請求重新訓練整個模型
- 它從權重中刪除未使用的任務
- 每個任務需要一個單獨的 GPU
- Lester 及其同事的論文如何描述與前綴調整相關的提示調整?
- 作為凍結語言模型的替代品
- 作為本文與前綴調優相比更簡單的相關方法
- 作為沒有可訓練參數的分詞器
- 作為更新每個模型權重的方法
- Lester 和同事使用哪個模型系列來研究跨尺度的即時調整?
- 波網
- 阿爾法折疊2
- T5
- 隔離森林
- 提示音調優中軟提示是如何優化的?
- 透過更改每個任務的所有模型權重
- 僅用硬編碼單字取代嵌入
- 透過為每個範例訓練一個新的分詞器
- 透過凍結語言模型的反向傳播來更新提示向量