引導式測驗 · 中等 等級

用於傳輸測驗的適配器層

檢查瓶頸適配器如何保留凍結的基礎模型、啟用模組化任務或領域傳輸,並與 LoRA 進行比較。

相關引導路徑用於傳輸的適配器層
問題 1 的 8

使用適配器進行訓練時,原始預訓練權重會發生什麼變化?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 使用適配器進行訓練時,原始預訓練權重會發生什麼變化?
    • 它們被凍結,而僅訓練適配器參數
    • 他們被刪除了
    • 它們被隨機重新初始化
    • 它們的尺寸增加了一倍
  2. 瓶頸適配器的典型內部結構是什麼?
    • 單一巨大的緻密層
    • 下投影,非線性,然後上投影,帶有殘差連接
    • 只有一個注意力頭
    • 卷積影像濾波器
  3. 適配器通常訓練的參數比例大約是多少?
    • 100%
    • 正好 50%
    • 通常低於 5%
    • 完全沒有
  4. 為什麼適配器可以方便地執行許多任務?
    • 他們需要每個任務單獨的完整模型副本
    • 它們不能合併
    • 他們在每次任務後都會刪除基本模型
    • 您保留一個基本模型並交換小型的每任務適配器
  5. 適配器屬於哪一個技術系列?
    • 參數高效率微調 (PEFT)
    • 數據增強
    • 影像壓縮
    • 代幣化方案
  6. 與經典的插入適配器相比,LoRA 在推理時有什麼優勢?
    • 它無法被訓練
    • 它的學習權重可以合併到基礎矩陣中,避免額外的每層延遲
    • 需要重新訓練整個模型
    • 它永久刪除殘留連接
  7. 殘差連接對經典瓶頸適配器有什麼貢獻?
    • 每個任務的第二份完整預訓練模型副本
    • 一個必須的外部檢索資料庫
    • 一條將適配器轉換後的表示回加到原始隱藏狀態的路徑
    • 保證不會產生額外計算
  8. 將領域適配器與任務適配器堆疊的其中一個好處是什麼?
    • 自動將所有使用者資料合併到凍結的基礎權重中
    • 避免使用任何適配器模組
    • 將語言模型轉換為視覺編碼器
    • 重複使用領域專化與單獨的任務專化