Quiz collegato alla guida · Difficile Livello

Mix di esperti LoRA Quiz

Controlla gli aggiornamenti di basso rango di LoRA, il gating esperto, i pesi base congelati, le competenze componibili e il routing per livello per adattatori misti.

Percorsi guida correlatiMiscela di esperti Lora
Domanda 1 di 8

A cosa si riferisce la parte "LoRA" di Mixture of LoRA Experts?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. A cosa si riferisce la parte "LoRA" di Mixture of LoRA Experts?
    • Adattamento di basso rango, che addestra piccole matrici di basso rango anziché pesi completi
    • Un modello di ricompensa per l’apprendimento per rinforzo
    • Un meccanismo di attenzione a lungo raggio
    • Una pipeline di caricamento dati per gli adattatori
  2. Qual è il compito della rete gate/router in MoLE?
    • Per comprimere i pesi del modello base
    • Per decidere quali esperti attivare e con quali pesi per un dato input
    • Per generare dati di training per gli adattatori
    • Per convertire il testo in incorporamenti
  3. Perché MoLE è spesso migliore rispetto all'addestramento di un adattatore su molte attività miste?
    • Utilizza più memoria GPU in base alla progettazione
    • Elimina la necessità di qualsiasi modello base
    • Riduce le interferenze e le dimenticanze mantenendo le competenze in esperti componibili separati
    • Funziona solo su una sola lingua
  4. In LoRA, l'aggiornamento del peso è generalmente espresso come: quale delle seguenti opzioni?
    • Una matrice completamente densa che sostituisce W
    • Un singolo moltiplicatore scalare su W
    • Una matrice di rumore casuale aggiunta a ogni passaggio
    • Il prodotto di due matrici di rango basso, B per A
  5. Durante l'addestramento MoLE, cosa succede generalmente ai pesi preaddestrati del modello base?
    • Rimangono congelati mentre vengono addestrati solo gli adattatori e il router
    • Sono completamente riqualificati da zero
    • Vengono cancellati e ricostruiti
    • Sono quantizzati a un bit
  6. Nei modelli di immagini di diffusione, quale problema aiuta a risolvere il gating gerarchico/per livello in MoLE?
    • Download Internet lenti
    • LoRA concettuali multipli che si sopraffanno a vicenda quando vengono composti
    • Mancanza di dati di addestramento
    • Formati di file errati
  7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
    • It must retrain the pretrained backbone for every prompt
    • It can use only one expert for all inputs
    • It can select or weight experts conditionally for a task or layer
    • It removes every low-rank matrix before inference
  8. In a LoRA update with rank r, what does r control most directly?
    • The number of decoder tokens generated
    • The number of original model layers removed
    • The size of the training vocabulary
    • The dimension of the low-rank factors and thus the capacity and parameter cost of the update