Quiz collegato alla guida · Medio Livello
QLoRA e quiz di regolazione fine a 4 bit
Esamina la base congelata a 4 bit di QLoRA, gli adattatori addestrabili di basso rango, NF4, doppia quantizzazione, ottimizzatori paginati e dequantizzazione temporanea.
Domanda 1 di 8
Qual è l'idea fondamentale del risparmio di memoria dietro la parte "4 bit" di QLoRA?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è l'idea fondamentale del risparmio di memoria dietro la parte "4 bit" di QLoRA?
- Quantizza i pesi del modello base congelato fino a 4 bit ciascuno
- Elimina il 75% dei livelli del modello
- Addestra il modello in sole 4 epoche
- Utilizza solo 4 GPU invece di molte
- Durante la messa a punto di QLoRA, quali parametri vengono effettivamente aggiornati dalla discesa del gradiente?
- Tutti i pesi originali del modello
- Solo le piccole matrici adattatori LoRA di basso rango
- Le costanti di quantizzazione a 4 bit
- Il vocabolario del tokenizzatore
- Cos'è NF4 nel contesto di QLoRA?
- Una rete neurale a 4 strati
- Un nuovo algoritmo di ottimizzazione
- Un tipo di dati a 4 bit ottimizzato per pesi distribuiti normalmente
- Un formato cluster GPU a 4 nodi
- Quale problema affrontano gli "ottimizzatori di pagina" nell'indirizzo QLoRA?
- Download Internet lenti dei file del modello
- Tokenizzazione errata
- Overfitting su set di dati di piccole dimensioni
- Picchi di memoria insufficiente durante le sequenze lunghe
- Quando i pesi a 4 bit vengono riconvertiti a una precisione più elevata durante l'allenamento?
- Just-in-time durante la moltiplicazione della matrice, quindi scartato
- Non vengono mai convertiti; i calcoli si fanno in 4 bit
- Solo una volta all'inizio dell'allenamento
- Solo al termine dell'addestramento
- Cosa ha dimostrato il documento QLoRA originale riguardo alla qualità?
- La regolazione fine a 4 bit batte sempre la regolazione fine completa
- La messa a punto di un modello 65B su una GPU potrebbe eguagliare la qualità di messa a punto completa a 16 bit
- La quantizzazione rende inutili i modelli inferiori a 8 bit
- Solo i modelli più piccoli possono essere messi a punto in questo modo
- What does QLoRA’s double-quantization step compress?
- Il vocabolario del tokenizzatore
- The LoRA adapter rank
- The quantization constants used to represent the 4-bit weights
- The training examples’ text labels
- How can one QLoRA base model support multiple task-specific versions?
- They delete the optimizer state after every token
- They increase the base model from 4-bit to 32-bit
- They move all activations into the tokenizer
- Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks