引導式測驗 · 中等 等級
用於傳輸測驗的適配器層
檢查瓶頸適配器如何保留凍結的基礎模型、啟用模組化任務或領域傳輸,並與 LoRA 進行比較。
問題 1 的 8
使用適配器進行訓練時,原始預訓練權重會發生什麼變化?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 使用適配器進行訓練時,原始預訓練權重會發生什麼變化?
- 它們被凍結,而僅訓練適配器參數
- 他們被刪除了
- 它們被隨機重新初始化
- 它們的尺寸增加了一倍
- 瓶頸適配器的典型內部結構是什麼?
- 單一巨大的緻密層
- 下投影,非線性,然後上投影,帶有殘差連接
- 只有一個注意力頭
- 卷積影像濾波器
- 適配器通常訓練的參數比例大約是多少?
- 100%
- 正好 50%
- 通常低於 5%
- 完全沒有
- 為什麼適配器可以方便地執行許多任務?
- 他們需要每個任務單獨的完整模型副本
- 它們不能合併
- 他們在每次任務後都會刪除基本模型
- 您保留一個基本模型並交換小型的每任務適配器
- 適配器屬於哪一個技術系列?
- 參數高效率微調 (PEFT)
- 數據增強
- 影像壓縮
- 代幣化方案
- 與經典的插入適配器相比,LoRA 在推理時有什麼優勢?
- 它無法被訓練
- 它的學習權重可以合併到基礎矩陣中,避免額外的每層延遲
- 需要重新訓練整個模型
- 它永久刪除殘留連接
- 殘差連接對經典瓶頸適配器有什麼貢獻?
- 每個任務的第二份完整預訓練模型副本
- 一個必須的外部檢索資料庫
- 一條將適配器轉換後的表示回加到原始隱藏狀態的路徑
- 保證不會產生額外計算
- 將領域適配器與任務適配器堆疊的其中一個好處是什麼?
- 自動將所有使用者資料合併到凍結的基礎權重中
- 避免使用任何適配器模組
- 將語言模型轉換為視覺編碼器
- 重複使用領域專化與單獨的任務專化