引導式測驗 · 硬 等級
LoRA 專家混合測驗
檢查 LoRA 的低等級更新、專家門控、凍結基本權重、可組合技能和混合適配器的每層路由。
問題 1 的 8
Mixture of LoRA Experts 中的「LoRA」部分指的是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- Mixture of LoRA Experts 中的「LoRA」部分指的是什麼?
- 低秩適應,訓練小的低秩矩陣而不是全權重
- 強化學習獎勵模型
- 長程注意力機制
- 適配器的資料載入管道
- MoLE 中的門控/路由器網路的作用是什麼?
- 壓縮基本模型權重
- 決定啟動哪些專家以及給定輸入的權重
- 為適配器產生訓練數據
- 將文字轉換為嵌入
- 為什麼 MoLE 通常比在許多混合任務上訓練一個適配器更好?
- 它在設計上使用更多的 GPU 內存
- 它消除了對任何基礎模型的需要
- 透過將技能保留在單獨的可組合專家中,可以減少干擾和遺忘
- 它僅適用於單一語言
- 在LoRA中,權重更新通常表示為下列哪一項?
- 替換 W 的全稠密矩陣
- W 上的單一標量乘法器
- 每一步加入一個隨機雜訊矩陣
- 兩個低秩矩陣 B 乘以 A 的乘積
- 在 MoLE 訓練期間,基本模型的預訓練權重通常會發生什麼情況?
- 當僅訓練適配器和路由器時,它們保持凍結狀態
- 他們從頭開始接受全面的再培訓
- 它們被刪除並重建
- 它們被量化為一位
- 在擴散影像模型中,MoLE 中的分層/每層門控有助於解決什麼問題?
- 網路下載速度慢
- 多個概念 LoRA 在組合時相互壓倒
- 缺乏訓練數據
- 文件格式不正確
- 門控 LoRA 混合與將所有適配器權重合併到一個固定更新中有何不同?
- 它必須針對每個提示重新訓練預先訓練的骨幹網
- 它只能使用一名專家來處理所有輸入
- 它可以有條件地為任務或層級選擇或加權專家
- 它在推理之前刪除每個低秩矩陣
- 在等級為 r 的 LoRA 更新中,r 最直接控制什麼?
- 產生的解碼器令牌的數量
- 刪除的原始模型層數
- 訓練詞彙量的大小
- 低秩因子的維度以及更新的容量和參數成本