Quiz collegato alla guida · Medio Livello
LoRA e quiz di ottimizzazione efficiente dei parametri
Esamina i pesi LoRA congelati, il risparmio dello stato addestrabile, il rango, l'archiviazione QLoRA, l'unione compatibile, le basi condivise, i conteggi dei parametri e la doppia quantizzazione.
Domanda 1 di 8
Nella formulazione originale di LoRA per una matrice di peso selezionata, cosa viene appreso mentre quella matrice rimane fissa?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Nella formulazione originale di LoRA per una matrice di peso selezionata, cosa viene appreso mentre quella matrice rimane fissa?
- Un vocabolario di sostituzione senza aggiornamento del peso
- Ogni voce della matrice di base completa dall'inizializzazione casuale
- Due matrici fattoriali che formano un aggiornamento additivo a rango ridotto
- Una cancellazione permanente dell'intero livello selezionato
- Quali requisiti di risorse possono essere ridotti da un minor numero di parametri LoRA addestrabili rispetto al fine-tuning completo?
- Ogni computazione del modello di base per definizione
- Tutta la memorizzazione delle attivazioni indipendentemente dalla procedura di addestramento
- Una percentuale universale garantita della memoria totale di runtime
- Requisiti dello stato dell'ottimizzatore e dei checkpoint di task
- Cosa controlla il rango "r" in un adattatore LoRA?
- La dimensione interna delle due matrici di rango basso, che imposta la capacità dell'adattatore
- Il numero di livelli nel modello base
- Il tasso di apprendimento durante la formazione
- Quante GPU sono necessarie
- Quali scelte di memorizzazione e adattamento sono combinate nel documento QLoRA?
- Aggiornare direttamente ogni peso di base come gradiente intero a 4 bit
- Una base a bassa precisione congelata con adattatori LoRA addestrabili
- Rimuovere tutti gli adattatori e tutti i dati del task
- Una garanzia che ogni modello si adatti a ogni GPU consumer
- Quali elementi può rimuovere un merge compatibile denso di un aggiornamento LoRA dal calcolo di inferenza di quel livello?
- La necessità di valutare il livello di base in ogni caso
- Ogni possibile requisito di compatibilità dtype
- Un requisito che tutti i futuri aggiornamenti di task diventino identici
- La necessità di valutare un ramo adattatore separato
- Quale modello di riutilizzo è supportato dal memorizzare gli adattatori di task compatibili separatamente da un checkpoint di base?
- Ogni adattatore rende automaticamente ogni task factualmente corretto
- Tutti i sistemi di servizio devono cambiare task senza alcun overhead
- Vari aggiornamenti di task possono condividere lo stesso modello di base pre-addestrato
- Il checkpoint di base non è più necessario per l'inferenza
- Per un aggiornamento di peso dichiarato 4x4 con fattori di rango uno di forma 4x1 e 1x4, quante parametri di fattore ci sono?
- Sedici
- Otto
- Quattro
- Trentadue
- Cosa comprime la tecnica di doppia quantizzazione di QLoRA oltre alla rappresentazione dei pesi di base?
- Le costanti di quantizzazione
- Ogni etichetta di attività in una seconda categoria non correlata
- I gradienti dell'adattatore due volte per definizione
- Una seconda copia completa del modello di base