引導式測驗 · 硬 等級

LoRA 專家混合測驗

檢查 LoRA 的低等級更新、專家門控、凍結基本權重、可組合技能和混合適配器的每層路由。

相關引導路徑勞拉專家的混合體
問題 1 的 8

Mixture of LoRA Experts 中的「LoRA」部分指的是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. Mixture of LoRA Experts 中的「LoRA」部分指的是什麼?
    • 低秩適應,訓練小的低秩矩陣而不是全權重
    • 強化學習獎勵模型
    • 長程注意力機制
    • 適配器的資料載入管道
  2. MoLE 中的門控/路由器網路的作用是什麼?
    • 壓縮基本模型權重
    • 決定啟動哪些專家以及給定輸入的權重
    • 為適配器產生訓練數據
    • 將文字轉換為嵌入
  3. 為什麼 MoLE 通常比在許多混合任務上訓練一個適配器更好?
    • 它在設計上使用更多的 GPU 內存
    • 它消除了對任何基礎模型的需要
    • 透過將技能保留在單獨的可組合專家中,可以減少干擾和遺忘
    • 它僅適用於單一語言
  4. 在LoRA中,權重更新通常表示為下列哪一項?
    • 替換 W 的全稠密矩陣
    • W 上的單一標量乘法器
    • 每一步加入一個隨機雜訊矩陣
    • 兩個低秩矩陣 B 乘以 A 的乘積
  5. 在 MoLE 訓練期間,基本模型的預訓練權重通常會發生什麼情況?
    • 當僅訓練適配器和路由器時,它們保持凍結狀態
    • 他們從頭開始接受全面的再培訓
    • 它們被刪除並重建
    • 它們被量化為一位
  6. 在擴散影像模型中,MoLE 中的分層/每層門控有助於解決什麼問題?
    • 網路下載速度慢
    • 多個概念 LoRA 在組合時相互壓倒
    • 缺乏訓練數據
    • 文件格式不正確
  7. 門控 LoRA 混合與將所有適配器權重合併到一個固定更新中有何不同?
    • 它必須針對每個提示重新訓練預先訓練的骨幹網
    • 它只能使用一名專家來處理所有輸入
    • 它可以有條件地為任務或層級選擇或加權專家
    • 它在推理之前刪除每個低秩矩陣
  8. 在等級為 r 的 LoRA 更新中,r 最直接控制什麼?
    • 產生的解碼器令牌的數量
    • 刪除的原始模型層數
    • 訓練詞彙量的大小
    • 低秩因子的維度以及更新的容量和參數成本