Kvíz spojený s průvodcem · Těžko úroveň

SmoothQuant a aktivační kvantizační kvíz

Kontroluje odlehlé hodnoty aktivace, migraci škálování na kanál, notaci W8A8, skládání offline a kompromisy testované SmoothQuant.

Související vodicí cestySmoothquant a aktivační kvantizace
Otázka 1 z 8

Jaký problém konkrétně řeší SmoothQuant v oblasti s nízkou přesností?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký problém konkrétně řeší SmoothQuant v oblasti s nízkou přesností?
    • Extrémní odlehlé hodnoty v aktivačních kanálech
    • Váhy, které jsou příliš malé na to, aby je reprezentovaly
    • Gradient mizí během zpětného šíření
    • Limity velikosti slovní zásoby tokenu
  2. Jak SmoothQuant usnadňuje kvantování aktivací?
    • Ořízne všechny aktivace nad pevnou prahovou hodnotou
    • Obtížnost migruje snížením a zvýšením aktivace stejným faktorem
    • Přetrénuje model end-to-end na 8bitové
    • Převádí aktivace pouze na pohyblivou řádovou čárku
  3. Co znamená označení W8A8?
    • 8 zátěžových vrstev a 8 hlav pro pozornost
    • Úbytek hmotnosti 8 a alfa 8
    • 8bitové váhy a 8bitové aktivace
    • 8 dělníků a 8 urychlovačů
  4. Proč škálování SmoothQuant nepřináší v podstatě žádné provozní náklady?
    • Běží na samostatném vyhrazeném GPU
    • Platí to pouze během tréninku, nikdy ne vyvozování
    • Moderní CPU ignorují faktory škálování
    • Váhy jsou offline absorbovány do sousedních závaží nebo tavených operací
  5. Jakou roli hraje ve SmoothQuant hyperparametr alfa?
    • Řídí, jak moc se odlehlá zátěž přesune z aktivací na váhy
    • Nastavuje rychlost učení pro jemné doladění
    • Určuje počet kvantizačních bitů
    • Vybírá, která pozornost směřuje k prořezávání
  6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
    • A guaranteed 10× speedup on every GPU
    • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
    • No runtime or memory benefit
    • A 50% accuracy drop in every tested model
  7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
    • The output is rounded to the nearest class
    • The model replaces multiplication with addition
    • The reciprocal scale factors cancel in the activation-weight multiplication
    • The weights are set to zero after scaling
  8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
    • It removes the model’s weight matrices
    • It turns W8A8 into W16A16
    • It eliminates all quantization error
    • It shifts more scaling burden away from activations and onto weights