Quiz collegato alla guida · Medio Livello

QLoRA e quiz di regolazione fine a 4 bit

Esamina la base congelata a 4 bit di QLoRA, gli adattatori addestrabili di basso rango, NF4, doppia quantizzazione, ottimizzatori paginati e dequantizzazione temporanea.

Percorsi guida correlatiQlora e messa a punto a 4 bit
Domanda 1 di 8

Qual è l'idea fondamentale del risparmio di memoria dietro la parte "4 bit" di QLoRA?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è l'idea fondamentale del risparmio di memoria dietro la parte "4 bit" di QLoRA?
    • Quantizza i pesi del modello base congelato fino a 4 bit ciascuno
    • Elimina il 75% dei livelli del modello
    • Addestra il modello in sole 4 epoche
    • Utilizza solo 4 GPU invece di molte
  2. Durante la messa a punto di QLoRA, quali parametri vengono effettivamente aggiornati dalla discesa del gradiente?
    • Tutti i pesi originali del modello
    • Solo le piccole matrici adattatori LoRA di basso rango
    • Le costanti di quantizzazione a 4 bit
    • Il vocabolario del tokenizzatore
  3. Cos'è NF4 nel contesto di QLoRA?
    • Una rete neurale a 4 strati
    • Un nuovo algoritmo di ottimizzazione
    • Un tipo di dati a 4 bit ottimizzato per pesi distribuiti normalmente
    • Un formato cluster GPU a 4 nodi
  4. Quale problema affrontano gli "ottimizzatori di pagina" nell'indirizzo QLoRA?
    • Download Internet lenti dei file del modello
    • Tokenizzazione errata
    • Overfitting su set di dati di piccole dimensioni
    • Picchi di memoria insufficiente durante le sequenze lunghe
  5. Quando i pesi a 4 bit vengono riconvertiti a una precisione più elevata durante l'allenamento?
    • Just-in-time durante la moltiplicazione della matrice, quindi scartato
    • Non vengono mai convertiti; i calcoli si fanno in 4 bit
    • Solo una volta all'inizio dell'allenamento
    • Solo al termine dell'addestramento
  6. Cosa ha dimostrato il documento QLoRA originale riguardo alla qualità?
    • La regolazione fine a 4 bit batte sempre la regolazione fine completa
    • La messa a punto di un modello 65B su una GPU potrebbe eguagliare la qualità di messa a punto completa a 16 bit
    • La quantizzazione rende inutili i modelli inferiori a 8 bit
    • Solo i modelli più piccoli possono essere messi a punto in questo modo
  7. What does QLoRA’s double-quantization step compress?
    • Il vocabolario del tokenizzatore
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks