Kuis Kuantisasi SmoothQuant dan Aktivasi

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Masalah apa yang secara khusus ditangani oleh SmoothQuant dalam inferensi presisi rendah?
   • Nilai outlier ekstrim dalam saluran aktivasi
   • Bobot yang terlalu kecil untuk diwakilkan
   • Gradien menghilang selama propagasi mundur
   • Batas ukuran kosakata token
2. Bagaimana SmoothQuant membuat aktivasi lebih mudah diukur?
   • Ini memotong semua aktivasi di atas ambang batas tetap
   • Ini memindahkan kesulitan dengan mengurangi skala aktivasi dan menambah bobot dengan faktor yang sama
   • Ini melatih ulang model end-to-end dalam 8-bit
   • Ini mengubah aktivasi menjadi floating point saja
3. Apa arti notasi W8A8?
   • 8 lapisan berat dan 8 kepala perhatian
   • Penurunan berat badan 8 dan alpha 8
   • Bobot 8-bit dan aktivasi 8-bit
   • 8 pekerja dan 8 akselerator
4. Mengapa penskalaan SmoothQuant pada dasarnya tidak menambah overhead waktu proses?
   • Ini berjalan pada GPU khusus yang terpisah
   • Ini hanya berlaku selama pelatihan, tidak pernah inferensi
   • CPU modern mengabaikan faktor penskalaan
   • Timbangan diserap secara offline ke dalam beban yang berdekatan atau operasi gabungan
5. Apa peran yang dimainkan oleh hyperparameter alfa di SmoothQuant?
   • Ini mengontrol seberapa besar perpindahan beban outlier dari aktivasi ke bobot
   • Ini menetapkan kecepatan pembelajaran untuk penyesuaian
   • Ini menentukan jumlah bit kuantisasi
   • Ini memilih perhatian mana yang akan dipangkas
6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
   • A guaranteed 10× speedup on every GPU
   • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
   • No runtime or memory benefit
   • A 50% accuracy drop in every tested model
7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
   • The output is rounded to the nearest class
   • The model replaces multiplication with addition
   • The reciprocal scale factors cancel in the activation-weight multiplication
   • The weights are set to zero after scaling
8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
   • It removes the model’s weight matrices
   • It turns W8A8 into W16A16
   • It eliminates all quantization error
   • It shifts more scaling burden away from activations and onto weights