Quiz collegato alla guida · Medio Livello

Quiz sulla quantizzazione del modello

Applicare archiviazione quantizzata, fattori di ridimensionamento e compromessi di precisione, incluso il motivo per cui le riduzioni del peso grezzo non garantiscono l'adattamento completo o la velocità del modello.

Percorsi guida correlatiQuantizzazione del modello
Domanda 1 di 8

Quantizzare un modello riduce principalmente cosa?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quantizzare un modello riduce principalmente cosa?
    • La precisione numerica utilizzata per memorizzare pesi e attivazioni
    • Il numero di livelli nella rete
    • Il set di dati di training su cui è stato creato il modello
    • Il linguaggio che il modello può comprendere
  2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
    • The payload is unchanged
    • It is one hundredth of the original payload
    • The four-bit payload is one quarter of the sixteen-bit payload
    • The payload becomes four times larger
  3. Qual è il principale svantaggio della quantizzazione aggressiva a basso bit?
    • Il modello dimentica il suo linguaggio di addestramento
    • Potenziale perdita di precisione poiché i valori vengono compressi in meno intervalli
    • Può funzionare solo su supercomputer
    • Elimina permanentemente i livelli
  4. In che modo l'addestramento consapevole della quantizzazione differisce dalla quantizzazione post-allenamento?
    • Non richiede alcun dato
    • Funziona solo sulle immagini
    • Aumenta il numero di bit nel tempo
    • Simula l'arrotondamento durante l'addestramento in modo che il modello impari a tollerare una bassa precisione
  5. Quale tecnica utilizza la quantizzazione a 4 bit per rendere accessibile la messa a punto di modelli di grandi dimensioni su una GPU?
    • Abbandono
    • Normalizzazione batch
    • QLoRA
    • Tokenizzazione
  6. Perché il ridimensionamento per canale o per gruppo aiuta i modelli quantizzati?
    • Assegna fattori di scala separati alle sezioni di una matrice di peso per preservare la precisione
    • Elimina la necessità di pesi
    • Rende il modello più grande
    • Converte il testo in audio
  7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
    • Every four-bit weight expands permanently to a gigabyte
    • Quantization guarantees no runtime allocations
    • Only the model’s filename consumes the remaining memory
    • Caches, scales, unquantized tensors, or workspace need additional memory
  8. A team quantizes to INT8 but sees no inference speedup. What should it check?
    • Whether the training data are alphabetized
    • Whether the workload uses efficient supported kernels on its hardware
    • Whether lower bit width always guarantees faster execution
    • Whether the model must have changed languages