Gids-gekoppelde quiz · Moeilijk Niveau

Mengsel van LoRA Experts Quiz

Controleert LoRA's updates op laag niveau, expert-poorten, bevroren basisgewichten, samenstelbare vaardigheden en routering per laag voor gemengde adapters.

Gerelateerde gidspadenMengsel van Lora-experts
Vraag 1 van 8

Waarnaar verwijst het 'LoRA'-gedeelte van Mixture of LoRA Experts?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waarnaar verwijst het 'LoRA'-gedeelte van Mixture of LoRA Experts?
    • Low-Rank Adaptation, waarmee kleine matrices van lage rang worden getraind in plaats van volledige gewichten
    • Een beloningsmodel voor versterkend leren
    • Een langeafstandsaandachtsmechanisme
    • Een pijplijn voor het laden van gegevens voor adapters
  2. Wat is de taak van het poort-/routernetwerk in MoLE?
    • Om de gewichten van het basismodel te comprimeren
    • Om te beslissen welke experts moeten worden geactiveerd en met welk gewicht voor een bepaalde input
    • Om trainingsgegevens voor de adapters te genereren
    • Om tekst om te zetten in insluitingen
  3. Waarom is MoLE vaak beter dan het trainen van één adapter voor veel gemengde taken?
    • Het gebruikt standaard meer GPU-geheugen
    • Het elimineert de noodzaak voor elk basismodel
    • Het vermindert inmenging en vergeten door vaardigheden bij afzonderlijke, samen te stellen experts te houden
    • Het werkt alleen op één taal
  4. In LoRA wordt de gewichtsupdate doorgaans als volgt uitgedrukt:
    • Een volledig dichte matrix die W
    • Een enkele scalaire vermenigvuldiger op W
    • Een willekeurige ruismatrix voegde elke stap toe
    • Het product van twee matrices van lage rang, B maal A
  5. Wat gebeurt er tijdens de MoLE-training doorgaans met de voorgetrainde gewichten van het basismodel?
    • Ze blijven bevroren terwijl alleen de adapters en de router worden getraind
    • Ze worden vanaf nul volledig omgeschoold
    • Ze worden verwijderd en opnieuw opgebouwd
    • Ze worden gekwantiseerd tot één bit
  6. Welk probleem helpt hiërarchische gating per laag in MoLE in diffusiebeeldmodellen op te lossen?
    • Langzame internetdownloads
    • Meerdere concept-LoRA's die elkaar overweldigen wanneer ze zijn samengesteld
    • Gebrek aan trainingsgegevens
    • Onjuiste bestandsformaten
  7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
    • It must retrain the pretrained backbone for every prompt
    • It can use only one expert for all inputs
    • It can select or weight experts conditionally for a task or layer
    • It removes every low-rank matrix before inference
  8. In a LoRA update with rank r, what does r control most directly?
    • The number of decoder tokens generated
    • The number of original model layers removed
    • The size of the training vocabulary
    • The dimension of the low-rank factors and thus the capacity and parameter cost of the update