Quiz collegato alla guida · Difficile Livello

SmoothQuant e quiz sulla quantizzazione dell'attivazione

Controlla i valori anomali di attivazione, la migrazione su scala per canale, la notazione W8A8, il ripiegamento offline e i compromessi di inferenza testati di SmoothQuant.

Domanda 1 di 8

Quale problema affronta SmoothQuant in modo specifico nell'inferenza a bassa precisione?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale problema affronta SmoothQuant in modo specifico nell'inferenza a bassa precisione?
    • Valori estremi estremi nei canali di attivazione
    • Pesi troppo piccoli per essere rappresentati
    • Sfumatura del gradiente durante la backpropagation
    • Limiti delle dimensioni del vocabolario dei token
  2. In che modo SmoothQuant semplifica la quantizzazione delle attivazioni?
    • Blocca tutte le attivazioni al di sopra di una soglia fissa
    • Migra la difficoltà ridimensionando le attivazioni e aumentandole dello stesso fattore
    • Riqualifica il modello end-to-end in 8 bit
    • Converte le attivazioni solo in virgola mobile
  3. Cosa significa la notazione W8A8?
    • 8 strati di peso e 8 teste di attenzione
    • Decadimento del peso di 8 e alfa di 8
    • Pesi a 8 bit e attivazioni a 8 bit
    • 8 operai e 8 acceleratori
  4. Perché la scalabilità di SmoothQuant non aggiunge sostanzialmente alcun sovraccarico di runtime?
    • Funziona su una GPU dedicata separata
    • Si applica solo durante l'allenamento, mai nell'inferenza
    • Le CPU moderne ignorano i fattori di scalabilità
    • Le bilance vengono assorbite offline in pesi adiacenti o operazioni fuse
  5. Che ruolo gioca l'iperparametro alfa in SmoothQuant?
    • Controlla la quantità di oneri anomali spostati dalle attivazioni ai pesi
    • Imposta il tasso di apprendimento per la messa a punto
    • Determina il numero di bit di quantizzazione
    • Seleziona quale attenzione si dirige a potare
  6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
    • A guaranteed 10× speedup on every GPU
    • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
    • No runtime or memory benefit
    • A 50% accuracy drop in every tested model
  7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
    • The output is rounded to the nearest class
    • The model replaces multiplication with addition
    • The reciprocal scale factors cancel in the activation-weight multiplication
    • The weights are set to zero after scaling
  8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
    • It removes the model’s weight matrices
    • It turns W8A8 into W16A16
    • It eliminates all quantization error
    • It shifts more scaling burden away from activations and onto weights