Kvíz spojený s průvodcem · Těžko úroveň
SmoothQuant a aktivační kvantizační kvíz
Kontroluje odlehlé hodnoty aktivace, migraci škálování na kanál, notaci W8A8, skládání offline a kompromisy testované SmoothQuant.
Otázka 1 z 8
Jaký problém konkrétně řeší SmoothQuant v oblasti s nízkou přesností?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký problém konkrétně řeší SmoothQuant v oblasti s nízkou přesností?
- Extrémní odlehlé hodnoty v aktivačních kanálech
- Váhy, které jsou příliš malé na to, aby je reprezentovaly
- Gradient mizí během zpětného šíření
- Limity velikosti slovní zásoby tokenu
- Jak SmoothQuant usnadňuje kvantování aktivací?
- Ořízne všechny aktivace nad pevnou prahovou hodnotou
- Obtížnost migruje snížením a zvýšením aktivace stejným faktorem
- Přetrénuje model end-to-end na 8bitové
- Převádí aktivace pouze na pohyblivou řádovou čárku
- Co znamená označení W8A8?
- 8 zátěžových vrstev a 8 hlav pro pozornost
- Úbytek hmotnosti 8 a alfa 8
- 8bitové váhy a 8bitové aktivace
- 8 dělníků a 8 urychlovačů
- Proč škálování SmoothQuant nepřináší v podstatě žádné provozní náklady?
- Běží na samostatném vyhrazeném GPU
- Platí to pouze během tréninku, nikdy ne vyvozování
- Moderní CPU ignorují faktory škálování
- Váhy jsou offline absorbovány do sousedních závaží nebo tavených operací
- Jakou roli hraje ve SmoothQuant hyperparametr alfa?
- Řídí, jak moc se odlehlá zátěž přesune z aktivací na váhy
- Nastavuje rychlost učení pro jemné doladění
- Určuje počet kvantizačních bitů
- Vybírá, která pozornost směřuje k prořezávání
- What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
- A guaranteed 10× speedup on every GPU
- About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
- No runtime or memory benefit
- A 50% accuracy drop in every tested model
- Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
- The output is rounded to the nearest class
- The model replaces multiplication with addition
- The reciprocal scale factors cancel in the activation-weight multiplication
- The weights are set to zero after scaling
- In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
- It removes the model’s weight matrices
- It turns W8A8 into W16A16
- It eliminates all quantization error
- It shifts more scaling burden away from activations and onto weights