Útmutatóhoz kapcsolódó kvíz · Kemény Szint
SmoothQuant és aktiválási kvantálási kvíz
Checks activation outliers, per-channel scale migration, W8A8 notation, offline folding and SmoothQuant’s tested inference trade-offs.
kérdés 1 -ból 8
Milyen problémával foglalkozik a SmoothQuant az alacsony pontosságú következtetések során?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen problémával foglalkozik a SmoothQuant az alacsony pontosságú következtetések során?
- Extrém kiugró értékek az aktiválási csatornákban
- Olyan súlyok, amelyek túl kicsik az ábrázoláshoz
- A gradiens eltűnése a visszaszaporítás során
- A token szókincs méretkorlátai
- Hogyan teszi könnyebbé a SmoothQuant az aktiválások kvantálását?
- Egy rögzített küszöb feletti összes aktiválást levág
- A nehézségeket az aktiválások csökkentésével és a súlyozások azonos tényezőjével történő növelésével költözteti
- Végponttól végpontig áttanítja a modellt 8 bitesre
- Az aktiválásokat csak lebegőpontossá alakítja
- Mit jelent a W8A8 jelölés?
- 8 súlyréteg és 8 figyelemfelkeltő fej
- Súlycsökkenés 8 és alfa 8
- 8 bites súlyozások és 8 bites aktiválások
- 8 munkás és 8 gyorsító
- Miért nem növeli a SmoothQuant skálázása lényegében futási többletköltséget?
- Külön dedikált GPU-n fut
- Csak az edzés során érvényes, soha nem lehet következtetéseket levonni
- A modern CPU-k figyelmen kívül hagyják a méretezési tényezőket
- A mérleg offline állapotban felszívódik a szomszédos súlyokba vagy egyesített műveletekbe
- Milyen szerepet játszik az alfa hiperparaméter a SmoothQuantban?
- Azt szabályozza, hogy mennyi kiugró terhet helyezzen át az aktiválásokról a súlyozásokra
- Beállítja a tanulási sebességet a finomhangoláshoz
- Meghatározza a kvantálási bitek számát
- Kiválasztja, hogy mely figyelemfejeket kell metszeni
- What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
- A guaranteed 10× speedup on every GPU
- About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
- No runtime or memory benefit
- A 50% accuracy drop in every tested model
- Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
- The output is rounded to the nearest class
- The model replaces multiplication with addition
- The reciprocal scale factors cancel in the activation-weight multiplication
- The weights are set to zero after scaling
- In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
- It removes the model’s weight matrices
- It turns W8A8 into W16A16
- It eliminates all quantization error
- It shifts more scaling burden away from activations and onto weights