Gids-gekoppelde quiz · Moeilijk Niveau
Mengsel van LoRA Experts Quiz
Controleert LoRA's updates op laag niveau, expert-poorten, bevroren basisgewichten, samenstelbare vaardigheden en routering per laag voor gemengde adapters.
Vraag 1 van 8
Waarnaar verwijst het 'LoRA'-gedeelte van Mixture of LoRA Experts?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Waarnaar verwijst het 'LoRA'-gedeelte van Mixture of LoRA Experts?
- Low-Rank Adaptation, waarmee kleine matrices van lage rang worden getraind in plaats van volledige gewichten
- Een beloningsmodel voor versterkend leren
- Een langeafstandsaandachtsmechanisme
- Een pijplijn voor het laden van gegevens voor adapters
- Wat is de taak van het poort-/routernetwerk in MoLE?
- Om de gewichten van het basismodel te comprimeren
- Om te beslissen welke experts moeten worden geactiveerd en met welk gewicht voor een bepaalde input
- Om trainingsgegevens voor de adapters te genereren
- Om tekst om te zetten in insluitingen
- Waarom is MoLE vaak beter dan het trainen van één adapter voor veel gemengde taken?
- Het gebruikt standaard meer GPU-geheugen
- Het elimineert de noodzaak voor elk basismodel
- Het vermindert inmenging en vergeten door vaardigheden bij afzonderlijke, samen te stellen experts te houden
- Het werkt alleen op één taal
- In LoRA wordt de gewichtsupdate doorgaans als volgt uitgedrukt:
- Een volledig dichte matrix die W
- Een enkele scalaire vermenigvuldiger op W
- Een willekeurige ruismatrix voegde elke stap toe
- Het product van twee matrices van lage rang, B maal A
- Wat gebeurt er tijdens de MoLE-training doorgaans met de voorgetrainde gewichten van het basismodel?
- Ze blijven bevroren terwijl alleen de adapters en de router worden getraind
- Ze worden vanaf nul volledig omgeschoold
- Ze worden verwijderd en opnieuw opgebouwd
- Ze worden gekwantiseerd tot één bit
- Welk probleem helpt hiërarchische gating per laag in MoLE in diffusiebeeldmodellen op te lossen?
- Langzame internetdownloads
- Meerdere concept-LoRA's die elkaar overweldigen wanneer ze zijn samengesteld
- Gebrek aan trainingsgegevens
- Onjuiste bestandsformaten
- How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
- It must retrain the pretrained backbone for every prompt
- It can use only one expert for all inputs
- It can select or weight experts conditionally for a task or layer
- It removes every low-rank matrix before inference
- In a LoRA update with rank r, what does r control most directly?
- The number of decoder tokens generated
- The number of original model layers removed
- The size of the training vocabulary
- The dimension of the low-rank factors and thus the capacity and parameter cost of the update