Quiz collegato alla guida · Difficile Livello
SmoothQuant e quiz sulla quantizzazione dell'attivazione
Controlla i valori anomali di attivazione, la migrazione su scala per canale, la notazione W8A8, il ripiegamento offline e i compromessi di inferenza testati di SmoothQuant.
Domanda 1 di 8
Quale problema affronta SmoothQuant in modo specifico nell'inferenza a bassa precisione?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quale problema affronta SmoothQuant in modo specifico nell'inferenza a bassa precisione?
- Valori estremi estremi nei canali di attivazione
- Pesi troppo piccoli per essere rappresentati
- Sfumatura del gradiente durante la backpropagation
- Limiti delle dimensioni del vocabolario dei token
- In che modo SmoothQuant semplifica la quantizzazione delle attivazioni?
- Blocca tutte le attivazioni al di sopra di una soglia fissa
- Migra la difficoltà ridimensionando le attivazioni e aumentandole dello stesso fattore
- Riqualifica il modello end-to-end in 8 bit
- Converte le attivazioni solo in virgola mobile
- Cosa significa la notazione W8A8?
- 8 strati di peso e 8 teste di attenzione
- Decadimento del peso di 8 e alfa di 8
- Pesi a 8 bit e attivazioni a 8 bit
- 8 operai e 8 acceleratori
- Perché la scalabilità di SmoothQuant non aggiunge sostanzialmente alcun sovraccarico di runtime?
- Funziona su una GPU dedicata separata
- Si applica solo durante l'allenamento, mai nell'inferenza
- Le CPU moderne ignorano i fattori di scalabilità
- Le bilance vengono assorbite offline in pesi adiacenti o operazioni fuse
- Che ruolo gioca l'iperparametro alfa in SmoothQuant?
- Controlla la quantità di oneri anomali spostati dalle attivazioni ai pesi
- Imposta il tasso di apprendimento per la messa a punto
- Determina il numero di bit di quantizzazione
- Seleziona quale attenzione si dirige a potare
- What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
- A guaranteed 10× speedup on every GPU
- About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
- No runtime or memory benefit
- A 50% accuracy drop in every tested model
- Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
- The output is rounded to the nearest class
- The model replaces multiplication with addition
- The reciprocal scale factors cancel in the activation-weight multiplication
- The weights are set to zero after scaling
- In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
- It removes the model’s weight matrices
- It turns W8A8 into W16A16
- It eliminates all quantization error
- It shifts more scaling burden away from activations and onto weights