Quiz dotyczący kwantyzacji SmoothQuant i aktywacji

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki problem rozwiązuje SmoothQuant w zakresie wnioskowania o niskiej precyzji?
   • Skrajne wartości odstające w kanałach aktywacji
   • Wagi, które są zbyt małe, aby je reprezentować
   • Zanikanie gradientu podczas propagacji wstecznej
   • Limity rozmiaru słownictwa tokenowego
2. W jaki sposób SmoothQuant ułatwia kwantyfikację aktywacji?
   • Obcina wszystkie aktywacje powyżej ustalonego progu
   • Migruje trudność, zmniejszając i zwiększając wagę aktywacji o ten sam współczynnik
   • Ponownie szkoli model od początku do końca w formacie 8-bitowym
   • Konwertuje aktywacje tylko na dane zmiennoprzecinkowe
3. Co oznacza oznaczenie W8A8?
   • 8 warstw obciążników i 8 główek uwagi
   • Spadek masy 8 i alfa 8
   • 8-bitowe wagi i 8-bitowe aktywacje
   • 8 pracowników i 8 akceleratorów
4. Dlaczego skalowanie SmoothQuant zasadniczo nie powoduje narzutu na czas wykonania?
   • Całość działa na osobnym, dedykowanym GPU
   • Ma to zastosowanie tylko podczas szkolenia, nigdy wnioskowania
   • Nowoczesne procesory ignorują współczynniki skalowania
   • Wagi są wchłaniane w trybie offline do sąsiednich odważników lub operacji połączonych
5. Jaką rolę odgrywa hiperparametr alfa w SmoothQuant?
   • Kontroluje, jak bardzo obciążenie odstające przesuwa się z aktywacji na wagi
   • Ustawia tempo uczenia się w celu dostrajania
   • Określa liczbę bitów kwantyzacji
   • Wybiera, którą uwagę należy przyciąć
6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
   • A guaranteed 10× speedup on every GPU
   • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
   • No runtime or memory benefit
   • A 50% accuracy drop in every tested model
7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
   • The output is rounded to the nearest class
   • The model replaces multiplication with addition
   • The reciprocal scale factors cancel in the activation-weight multiplication
   • The weights are set to zero after scaling
8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
   • It removes the model’s weight matrices
   • It turns W8A8 into W16A16
   • It eliminates all quantization error
   • It shifts more scaling burden away from activations and onto weights