SmoothQuant și chestionar de cuantizare de activare

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Ce problemă abordează în mod specific SmoothQuant în inferența cu precizie scăzută?
   • Valori aberante extreme în canalele de activare
   • Greutăți prea mici pentru a fi reprezentate
   • Gradient care dispare în timpul propagării inverse
   • Limitele de dimensiune a vocabularului indicativ
2. Cum face SmoothQuant activările mai ușor de cuantificat?
   • Decupează toate activările peste un prag fix
   • Migrează dificultatea prin reducerea activărilor și ponderea cu același factor
   • Reantrenează modelul de la capăt la capăt în 8 biți
   • Convertește activările numai în virgulă mobilă
3. Ce înseamnă notația W8A8?
   • 8 straturi de greutate și 8 capete de atenție
   • Scăderea greutății de 8 și alfa de 8
   • Greutăți pe 8 biți și activări pe 8 biți
   • 8 muncitori și 8 acceleratoare
4. De ce scalarea lui SmoothQuant nu adaugă practic nicio suprasarcină de rulare?
   • Funcționează pe un GPU dedicat separat
   • Se aplică doar în timpul antrenamentului, niciodată deducerea
   • CPU-urile moderne ignoră factorii de scalare
   • Cântarele sunt absorbite offline în greutăți adiacente sau operațiuni topite
5. Ce rol joacă hiperparametrul alfa în SmoothQuant?
   • Acesta controlează cât de multă sarcină anormală trece de la activări la greutăți
   • Setează rata de învățare pentru reglare fină
   • Determină numărul de biți de cuantizare
   • Selectează ce atenție se îndreaptă spre tăiere
6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
   • A guaranteed 10× speedup on every GPU
   • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
   • No runtime or memory benefit
   • A 50% accuracy drop in every tested model
7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
   • The output is rounded to the nearest class
   • The model replaces multiplication with addition
   • The reciprocal scale factors cancel in the activation-weight multiplication
   • The weights are set to zero after scaling
8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
   • It removes the model’s weight matrices
   • It turns W8A8 into W16A16
   • It eliminates all quantization error
   • It shifts more scaling burden away from activations and onto weights