Gids-gekoppelde quiz · Moeilijk Niveau

SmoothQuant en activeringskwantiseringsquiz

Controleert activeringsuitschieters, schaalmigratie per kanaal, W8A8-notatie, offline vouwen en SmoothQuant's geteste gevolgtrekkingen.

Vraag 1 van 8

Welk probleem behandelt SmoothQuant specifiek bij gevolgtrekkingen met lage precisie?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welk probleem behandelt SmoothQuant specifiek bij gevolgtrekkingen met lage precisie?
    • Extreme uitbijterwaarden in activeringskanalen
    • Gewichten die te klein zijn om weer te geven
    • Het verloop verdwijnt tijdens backpropagation
    • Limieten voor de grootte van de tokenvocabulaire
  2. Hoe maakt SmoothQuant activaties gemakkelijker te kwantiseren?
    • Het knipt alle activeringen boven een vaste drempel af
    • Het migreert de moeilijkheidsgraad door activaties naar beneden te schalen en met dezelfde factor te verzwaren
    • Het hertraint het model end-to-end in 8-bit
    • Het converteert activeringen alleen naar drijvende komma
  3. Wat betekent de notatie W8A8?
    • 8 gewichtslagen en 8 aandachtskoppen
    • Gewichtsverval van 8 en alfa van 8
    • 8-bits gewichten en 8-bits activeringen
    • 8 werkers en 8 versnellers
  4. Waarom voegt de schaling van SmoothQuant in wezen geen runtime-overhead toe?
    • Het draait op een aparte speciale GPU
    • Het is alleen van toepassing tijdens de training, nooit op gevolgtrekkingen
    • Moderne CPU's negeren schaalfactoren
    • De weegschalen worden offline opgenomen in aangrenzende gewichten of samengevoegde bewerkingen
  5. Welke rol speelt de alpha-hyperparameter in SmoothQuant?
    • Het bepaalt hoeveel uitbijterlast verschuift van activeringen naar gewichten
    • Het bepaalt het leertempo voor verfijning
    • Het bepaalt het aantal kwantiseringsbits
    • Het selecteert welke aandachtskoppen moeten worden gesnoeid
  6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
    • A guaranteed 10× speedup on every GPU
    • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
    • No runtime or memory benefit
    • A 50% accuracy drop in every tested model
  7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
    • The output is rounded to the nearest class
    • The model replaces multiplication with addition
    • The reciprocal scale factors cancel in the activation-weight multiplication
    • The weights are set to zero after scaling
  8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
    • It removes the model’s weight matrices
    • It turns W8A8 into W16A16
    • It eliminates all quantization error
    • It shifts more scaling burden away from activations and onto weights