Útmutatóhoz kapcsolódó kvíz · Kemény Szint

SmoothQuant és aktiválási kvantálási kvíz

Checks activation outliers, per-channel scale migration, W8A8 notation, offline folding and SmoothQuant’s tested inference trade-offs.

Kapcsolódó útmutató utakSmoothquant és aktiválás kvantálás
kérdés 1 -ból 8

Milyen problémával foglalkozik a SmoothQuant az alacsony pontosságú következtetések során?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen problémával foglalkozik a SmoothQuant az alacsony pontosságú következtetések során?
    • Extrém kiugró értékek az aktiválási csatornákban
    • Olyan súlyok, amelyek túl kicsik az ábrázoláshoz
    • A gradiens eltűnése a visszaszaporítás során
    • A token szókincs méretkorlátai
  2. Hogyan teszi könnyebbé a SmoothQuant az aktiválások kvantálását?
    • Egy rögzített küszöb feletti összes aktiválást levág
    • A nehézségeket az aktiválások csökkentésével és a súlyozások azonos tényezőjével történő növelésével költözteti
    • Végponttól végpontig áttanítja a modellt 8 bitesre
    • Az aktiválásokat csak lebegőpontossá alakítja
  3. Mit jelent a W8A8 jelölés?
    • 8 súlyréteg és 8 figyelemfelkeltő fej
    • Súlycsökkenés 8 és alfa 8
    • 8 bites súlyozások és 8 bites aktiválások
    • 8 munkás és 8 gyorsító
  4. Miért nem növeli a SmoothQuant skálázása lényegében futási többletköltséget?
    • Külön dedikált GPU-n fut
    • Csak az edzés során érvényes, soha nem lehet következtetéseket levonni
    • A modern CPU-k figyelmen kívül hagyják a méretezési tényezőket
    • A mérleg offline állapotban felszívódik a szomszédos súlyokba vagy egyesített műveletekbe
  5. Milyen szerepet játszik az alfa hiperparaméter a SmoothQuantban?
    • Azt szabályozza, hogy mennyi kiugró terhet helyezzen át az aktiválásokról a súlyozásokra
    • Beállítja a tanulási sebességet a finomhangoláshoz
    • Meghatározza a kvantálási bitek számát
    • Kiválasztja, hogy mely figyelemfejeket kell metszeni
  6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
    • A guaranteed 10× speedup on every GPU
    • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
    • No runtime or memory benefit
    • A 50% accuracy drop in every tested model
  7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
    • The output is rounded to the nearest class
    • The model replaces multiplication with addition
    • The reciprocal scale factors cancel in the activation-weight multiplication
    • The weights are set to zero after scaling
  8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
    • It removes the model’s weight matrices
    • It turns W8A8 into W16A16
    • It eliminates all quantization error
    • It shifts more scaling burden away from activations and onto weights