Kvíz spojený s průvodcem · Těžko úroveň
Směs LoRA Experts Quiz
Kontroluje aktualizace LoRA s nízkou úrovní, expertní vrátkování, zmrazené základní hmotnosti, skládací schopnosti a směrování po vrstvách pro smíšené adaptéry.
Otázka 1 z 8
Na co se vztahuje část „LoRA“ ve Mixture of LoRA Experts?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Na co se vztahuje část „LoRA“ ve Mixture of LoRA Experts?
- Low-Rank Adaptation, která trénuje malé matice nízké úrovně namísto plných vah
- Model odměny za posílení učení
- Mechanismus pozornosti na dlouhé vzdálenosti
- Potrubí pro načítání dat pro adaptéry
- Co je úkolem hradlové/routerové sítě v MoLE?
- Chcete-li komprimovat hmotnosti základního modelu
- K rozhodnutí, které experty aktivovat as jakými váhami pro daný vstup
- Generování tréninkových dat pro adaptéry
- Chcete-li převést text na vložení
- Proč je MoLE často lepší než trénovat jeden adaptér na mnoha smíšených úlohách?
- Designově využívá více paměti GPU
- Eliminuje potřebu jakéhokoli základního modelu
- Snižuje rušení a zapomínání tím, že dovednosti ponechává v samostatných složitelných expertech
- Funguje pouze v jednom jazyce
- V LoRA je aktualizace hmotnosti obvykle vyjádřena jako která z následujících?
- Plně hustá matrice nahrazující W
- Jediný skalární multiplikátor na W
- Ke každému kroku byla přidána matice náhodného šumu
- Součin dvou nižších matic, B krát A
- Co se během tréninku MoLE obecně stane s předem trénovanými váhami základního modelu?
- Zůstanou zmrazené, zatímco jsou vyškoleni pouze adaptéry a router
- Jsou plně přeškoleni od nuly
- Jsou odstraněny a znovu vytvořeny
- Jsou kvantovány na jeden bit
- Jaký problém v modelech difúzního obrazu pomáhá řešit hierarchické/vrstvové hradlování v MoLE?
- Pomalé stahování z internetu
- Více konceptů LoRA, které se při skládání navzájem přemáhají
- Nedostatek tréninkových dat
- Nesprávné formáty souborů
- How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
- It must retrain the pretrained backbone for every prompt
- It can use only one expert for all inputs
- It can select or weight experts conditionally for a task or layer
- It removes every low-rank matrix before inference
- In a LoRA update with rank r, what does r control most directly?
- The number of decoder tokens generated
- The number of original model layers removed
- The size of the training vocabulary
- The dimension of the low-rank factors and thus the capacity and parameter cost of the update