Útmutatóhoz kapcsolódó kvíz · Kemény Szint

LoRA szakértői kvíz keveréke

Checks LoRA’s low-rank updates, expert gating, frozen base weights, composable skills and per-layer routing for mixed adapters.

Kapcsolódó útmutató utakLora szakértők keveréke
kérdés 1 -ból 8

Mire utal a Mixture of LoRA Experts „LoRA” része?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mire utal a Mixture of LoRA Experts „LoRA” része?
    • Alacsony rangú adaptáció, amely kis alacsony rangú mátrixokat képez a teljes súlyok helyett
    • Megerősítő tanulási jutalommodell
    • Hosszú távú figyelemmechanizmus
    • Adatbetöltő folyamat adapterekhez
  2. Mi a feladata a kapuzás/router hálózatnak a MoLE-ban?
    • Az alapmodell súlyainak tömörítéséhez
    • Eldönteni, hogy mely szakértőket és milyen súllyal aktiválja egy adott bemenethez
    • Oktatási adatok generálása az adapterekhez
    • Szöveg beágyazásokká alakításához
  3. Miért jobb a MoLE gyakran, mint egy adaptert több vegyes feladatra betanítani?
    • Tervezésénél fogva több GPU memóriát használ
    • Nincs szükség semmilyen alapmodellre
    • Csökkenti az interferenciát és a felejtést azáltal, hogy a készségeket külön összeállítható szakértőknél tartja
    • Csak egyetlen nyelven működik
  4. A LoRA-ban a súlyfrissítés általában az alábbiak szerint fejeződik ki?
    • Teljes sűrű mátrix a W helyére
    • Egyetlen skalárszorzó W-n
    • Minden lépéshez egy véletlenszerű zajmátrix került
    • Két alacsony rangú mátrix szorzata, B-szor A
  5. Mi történik általában a MoLE edzés során az alapmodell előképzett súlyaival?
    • Lefagynak, miközben csak az adaptereket és az útválasztót képezik ki
    • A semmiből teljesen átképzettek
    • Törölték és újjáépítik
    • Egy bitre kvantálva vannak
  6. A diffúziós képmodellekben milyen problémát segít megoldani a hierarchikus/rétegenkénti kapuzás a MoLE-ben?
    • Lassú internetes letöltések
    • Több koncepciójú LoRA, amely felülmúlja egymást, amikor összeállítják
    • Edzési adatok hiánya
    • Helytelen fájlformátumok
  7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
    • It must retrain the pretrained backbone for every prompt
    • It can use only one expert for all inputs
    • It can select or weight experts conditionally for a task or layer
    • It removes every low-rank matrix before inference
  8. In a LoRA update with rank r, what does r control most directly?
    • The number of decoder tokens generated
    • The number of original model layers removed
    • The size of the training vocabulary
    • The dimension of the low-rank factors and thus the capacity and parameter cost of the update