Quiz collegato alla guida · Medio Livello

LoRA e quiz di ottimizzazione efficiente dei parametri

Esamina i pesi LoRA congelati, il risparmio dello stato addestrabile, il rango, l'archiviazione QLoRA, l'unione compatibile, le basi condivise, i conteggi dei parametri e la doppia quantizzazione.

Domanda 1 di 8

Nella formulazione originale di LoRA per una matrice di peso selezionata, cosa viene appreso mentre quella matrice rimane fissa?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Nella formulazione originale di LoRA per una matrice di peso selezionata, cosa viene appreso mentre quella matrice rimane fissa?
    • Un vocabolario di sostituzione senza aggiornamento del peso
    • Ogni voce della matrice di base completa dall'inizializzazione casuale
    • Due matrici fattoriali che formano un aggiornamento additivo a rango ridotto
    • Una cancellazione permanente dell'intero livello selezionato
  2. Quali requisiti di risorse possono essere ridotti da un minor numero di parametri LoRA addestrabili rispetto al fine-tuning completo?
    • Ogni computazione del modello di base per definizione
    • Tutta la memorizzazione delle attivazioni indipendentemente dalla procedura di addestramento
    • Una percentuale universale garantita della memoria totale di runtime
    • Requisiti dello stato dell'ottimizzatore e dei checkpoint di task
  3. Cosa controlla il rango "r" in un adattatore LoRA?
    • La dimensione interna delle due matrici di rango basso, che imposta la capacità dell'adattatore
    • Il numero di livelli nel modello base
    • Il tasso di apprendimento durante la formazione
    • Quante GPU sono necessarie
  4. Quali scelte di memorizzazione e adattamento sono combinate nel documento QLoRA?
    • Aggiornare direttamente ogni peso di base come gradiente intero a 4 bit
    • Una base a bassa precisione congelata con adattatori LoRA addestrabili
    • Rimuovere tutti gli adattatori e tutti i dati del task
    • Una garanzia che ogni modello si adatti a ogni GPU consumer
  5. Quali elementi può rimuovere un merge compatibile denso di un aggiornamento LoRA dal calcolo di inferenza di quel livello?
    • La necessità di valutare il livello di base in ogni caso
    • Ogni possibile requisito di compatibilità dtype
    • Un requisito che tutti i futuri aggiornamenti di task diventino identici
    • La necessità di valutare un ramo adattatore separato
  6. Quale modello di riutilizzo è supportato dal memorizzare gli adattatori di task compatibili separatamente da un checkpoint di base?
    • Ogni adattatore rende automaticamente ogni task factualmente corretto
    • Tutti i sistemi di servizio devono cambiare task senza alcun overhead
    • Vari aggiornamenti di task possono condividere lo stesso modello di base pre-addestrato
    • Il checkpoint di base non è più necessario per l'inferenza
  7. Per un aggiornamento di peso dichiarato 4x4 con fattori di rango uno di forma 4x1 e 1x4, quante parametri di fattore ci sono?
    • Sedici
    • Otto
    • Quattro
    • Trentadue
  8. Cosa comprime la tecnica di doppia quantizzazione di QLoRA oltre alla rappresentazione dei pesi di base?
    • Le costanti di quantizzazione
    • Ogni etichetta di attività in una seconda categoria non correlata
    • I gradienti dell'adattatore due volte per definizione
    • Una seconda copia completa del modello di base