Quiz collegato alla guida · Difficile Livello
Mix di esperti LoRA Quiz
Controlla gli aggiornamenti di basso rango di LoRA, il gating esperto, i pesi base congelati, le competenze componibili e il routing per livello per adattatori misti.
Domanda 1 di 8
A cosa si riferisce la parte "LoRA" di Mixture of LoRA Experts?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- A cosa si riferisce la parte "LoRA" di Mixture of LoRA Experts?
- Adattamento di basso rango, che addestra piccole matrici di basso rango anziché pesi completi
- Un modello di ricompensa per l’apprendimento per rinforzo
- Un meccanismo di attenzione a lungo raggio
- Una pipeline di caricamento dati per gli adattatori
- Qual è il compito della rete gate/router in MoLE?
- Per comprimere i pesi del modello base
- Per decidere quali esperti attivare e con quali pesi per un dato input
- Per generare dati di training per gli adattatori
- Per convertire il testo in incorporamenti
- Perché MoLE è spesso migliore rispetto all'addestramento di un adattatore su molte attività miste?
- Utilizza più memoria GPU in base alla progettazione
- Elimina la necessità di qualsiasi modello base
- Riduce le interferenze e le dimenticanze mantenendo le competenze in esperti componibili separati
- Funziona solo su una sola lingua
- In LoRA, l'aggiornamento del peso è generalmente espresso come: quale delle seguenti opzioni?
- Una matrice completamente densa che sostituisce W
- Un singolo moltiplicatore scalare su W
- Una matrice di rumore casuale aggiunta a ogni passaggio
- Il prodotto di due matrici di rango basso, B per A
- Durante l'addestramento MoLE, cosa succede generalmente ai pesi preaddestrati del modello base?
- Rimangono congelati mentre vengono addestrati solo gli adattatori e il router
- Sono completamente riqualificati da zero
- Vengono cancellati e ricostruiti
- Sono quantizzati a un bit
- Nei modelli di immagini di diffusione, quale problema aiuta a risolvere il gating gerarchico/per livello in MoLE?
- Download Internet lenti
- LoRA concettuali multipli che si sopraffanno a vicenda quando vengono composti
- Mancanza di dati di addestramento
- Formati di file errati
- How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
- It must retrain the pretrained backbone for every prompt
- It can use only one expert for all inputs
- It can select or weight experts conditionally for a task or layer
- It removes every low-rank matrix before inference
- In a LoRA update with rank r, what does r control most directly?
- The number of decoder tokens generated
- The number of original model layers removed
- The size of the training vocabulary
- The dimension of the low-rank factors and thus the capacity and parameter cost of the update