Amestec de LoRA Experts Quiz

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. La ce se referă partea „LoRA” din Mixture of LoRA Experts?
   • Low-Rank Adaptation, care antrenează matrice mici de rang scăzut în loc de greutăți complete
   • Un model de recompensă pentru învățare prin întărire
   • Un mecanism de atenție pe rază lungă
   • O conductă de încărcare a datelor pentru adaptoare
2. Care este sarcina rețelei de gating/router în MoLE?
   • Pentru a comprima greutățile modelului de bază
   • Pentru a decide ce experți să activeze și cu ce ponderi pentru o anumită intrare
   • Pentru a genera date de antrenament pentru adaptoare
   • Pentru a converti textul în încorporare
3. De ce MoLE este adesea mai bun decât antrenarea unui singur adaptor pentru multe sarcini mixte?
   • Utilizează mai multă memorie GPU prin proiectare
   • Elimină necesitatea oricărui model de bază
   • Reduce interferența și uitarea prin păstrarea abilităților în experți compozabili separati
   • Funcționează doar pe o singură limbă
4. În LoRA, actualizarea greutății este de obicei exprimată prin care dintre următoarele?
   • O matrice densă completă care înlocuiește W
   • Un singur multiplicator scalar pe W
   • O matrice de zgomot aleatoare a adăugat fiecare pas
   • Produsul a două matrice de rang scăzut, B ori A
5. În timpul antrenamentului MoLE, ce se întâmplă în general cu greutățile preantrenate ale modelului de bază?
   • Acestea rămân înghețate în timp ce sunt antrenate doar adaptoarele și routerul
   • Sunt complet recalificați de la zero
   • Sunt șterse și reconstruite
   • Ele sunt cuantificate la un bit
6. În modelele de imagine de difuzie, ce problemă ajută la rezolvarea ierarhiei/per-strat în MoLE?
   • Descărcări lente pe internet
   • LoRA-uri multiple care se copleșesc reciproc atunci când sunt compuse
   • Lipsa datelor de antrenament
   • Formate de fișiere incorecte
7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
   • It must retrain the pretrained backbone for every prompt
   • It can use only one expert for all inputs
   • It can select or weight experts conditionally for a task or layer
   • It removes every low-rank matrix before inference
8. In a LoRA update with rank r, what does r control most directly?
   • The number of decoder tokens generated
   • The number of original model layers removed
   • The size of the training vocabulary
   • The dimension of the low-rank factors and thus the capacity and parameter cost of the update