Gids-gekoppelde quiz · Moeilijk Niveau
SmoothQuant en activeringskwantiseringsquiz
Controleert activeringsuitschieters, schaalmigratie per kanaal, W8A8-notatie, offline vouwen en SmoothQuant's geteste gevolgtrekkingen.
Vraag 1 van 8
Welk probleem behandelt SmoothQuant specifiek bij gevolgtrekkingen met lage precisie?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welk probleem behandelt SmoothQuant specifiek bij gevolgtrekkingen met lage precisie?
- Extreme uitbijterwaarden in activeringskanalen
- Gewichten die te klein zijn om weer te geven
- Het verloop verdwijnt tijdens backpropagation
- Limieten voor de grootte van de tokenvocabulaire
- Hoe maakt SmoothQuant activaties gemakkelijker te kwantiseren?
- Het knipt alle activeringen boven een vaste drempel af
- Het migreert de moeilijkheidsgraad door activaties naar beneden te schalen en met dezelfde factor te verzwaren
- Het hertraint het model end-to-end in 8-bit
- Het converteert activeringen alleen naar drijvende komma
- Wat betekent de notatie W8A8?
- 8 gewichtslagen en 8 aandachtskoppen
- Gewichtsverval van 8 en alfa van 8
- 8-bits gewichten en 8-bits activeringen
- 8 werkers en 8 versnellers
- Waarom voegt de schaling van SmoothQuant in wezen geen runtime-overhead toe?
- Het draait op een aparte speciale GPU
- Het is alleen van toepassing tijdens de training, nooit op gevolgtrekkingen
- Moderne CPU's negeren schaalfactoren
- De weegschalen worden offline opgenomen in aangrenzende gewichten of samengevoegde bewerkingen
- Welke rol speelt de alpha-hyperparameter in SmoothQuant?
- Het bepaalt hoeveel uitbijterlast verschuift van activeringen naar gewichten
- Het bepaalt het leertempo voor verfijning
- Het bepaalt het aantal kwantiseringsbits
- Het selecteert welke aandachtskoppen moeten worden gesnoeid
- What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
- A guaranteed 10× speedup on every GPU
- About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
- No runtime or memory benefit
- A 50% accuracy drop in every tested model
- Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
- The output is rounded to the nearest class
- The model replaces multiplication with addition
- The reciprocal scale factors cancel in the activation-weight multiplication
- The weights are set to zero after scaling
- In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
- It removes the model’s weight matrices
- It turns W8A8 into W16A16
- It eliminates all quantization error
- It shifts more scaling burden away from activations and onto weights