Kvíz spojený s průvodcem · Těžko úroveň

Směs LoRA Experts Quiz

Kontroluje aktualizace LoRA s nízkou úrovní, expertní vrátkování, zmrazené základní hmotnosti, skládací schopnosti a směrování po vrstvách pro smíšené adaptéry.

Související vodicí cestySměs Lora Expertů
Otázka 1 z 8

Na co se vztahuje část „LoRA“ ve Mixture of LoRA Experts?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Na co se vztahuje část „LoRA“ ve Mixture of LoRA Experts?
    • Low-Rank Adaptation, která trénuje malé matice nízké úrovně namísto plných vah
    • Model odměny za posílení učení
    • Mechanismus pozornosti na dlouhé vzdálenosti
    • Potrubí pro načítání dat pro adaptéry
  2. Co je úkolem hradlové/routerové sítě v MoLE?
    • Chcete-li komprimovat hmotnosti základního modelu
    • K rozhodnutí, které experty aktivovat as jakými váhami pro daný vstup
    • Generování tréninkových dat pro adaptéry
    • Chcete-li převést text na vložení
  3. Proč je MoLE často lepší než trénovat jeden adaptér na mnoha smíšených úlohách?
    • Designově využívá více paměti GPU
    • Eliminuje potřebu jakéhokoli základního modelu
    • Snižuje rušení a zapomínání tím, že dovednosti ponechává v samostatných složitelných expertech
    • Funguje pouze v jednom jazyce
  4. V LoRA je aktualizace hmotnosti obvykle vyjádřena jako která z následujících?
    • Plně hustá matrice nahrazující W
    • Jediný skalární multiplikátor na W
    • Ke každému kroku byla přidána matice náhodného šumu
    • Součin dvou nižších matic, B krát A
  5. Co se během tréninku MoLE obecně stane s předem trénovanými váhami základního modelu?
    • Zůstanou zmrazené, zatímco jsou vyškoleni pouze adaptéry a router
    • Jsou plně přeškoleni od nuly
    • Jsou odstraněny a znovu vytvořeny
    • Jsou kvantovány na jeden bit
  6. Jaký problém v modelech difúzního obrazu pomáhá řešit hierarchické/vrstvové hradlování v MoLE?
    • Pomalé stahování z internetu
    • Více konceptů LoRA, které se při skládání navzájem přemáhají
    • Nedostatek tréninkových dat
    • Nesprávné formáty souborů
  7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
    • It must retrain the pretrained backbone for every prompt
    • It can use only one expert for all inputs
    • It can select or weight experts conditionally for a task or layer
    • It removes every low-rank matrix before inference
  8. In a LoRA update with rank r, what does r control most directly?
    • The number of decoder tokens generated
    • The number of original model layers removed
    • The size of the training vocabulary
    • The dimension of the low-rank factors and thus the capacity and parameter cost of the update