Kuiz Kuantiti SmoothQuant dan Pengaktifan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah masalah yang khusus ditangani oleh SmoothQuant dalam inferens ketepatan rendah?
   • Nilai outlier yang melampau dalam saluran pengaktifan
   • Berat yang terlalu kecil untuk diwakili
   • Kecerunan lenyap semasa perambatan belakang
   • Had saiz perbendaharaan kata token
2. Bagaimanakah SmoothQuant menjadikan pengaktifan lebih mudah untuk diukur?
   • Ia menjepit semua pengaktifan di atas ambang tetap
   • Ia memindahkan kesukaran dengan mengecilkan pengaktifan ke bawah dan menaikkan berat dengan faktor yang sama
   • Ia melatih semula model hujung ke hujung dalam 8-bit
   • Ia menukar pengaktifan kepada titik terapung sahaja
3. Apakah maksud notasi W8A8?
   • 8 lapisan berat dan 8 kepala perhatian
   • Pereputan berat 8 dan alfa 8
   • Berat 8-bit dan pengaktifan 8-bit
   • 8 pekerja dan 8 pemecut
4. Mengapakah penskalaan SmoothQuant menambah pada dasarnya tiada overhed masa jalan?
   • Ia berjalan pada GPU khusus yang berasingan
   • Ia hanya terpakai semasa latihan, tidak pernah membuat inferens
   • CPU moden mengabaikan faktor penskalaan
   • Penimbang diserap di luar talian ke dalam pemberat bersebelahan atau operasi bercantum
5. Apakah peranan yang dimainkan oleh hiperparameter alfa dalam SmoothQuant?
   • Ia mengawal berapa banyak perubahan beban terpencil daripada pengaktifan kepada pemberat
   • Ia menetapkan kadar pembelajaran untuk penalaan halus
   • Ia menentukan bilangan bit kuantisasi
   • Ia memilih perhatian mana yang perlu dipangkas
6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
   • A guaranteed 10× speedup on every GPU
   • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
   • No runtime or memory benefit
   • A 50% accuracy drop in every tested model
7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
   • The output is rounded to the nearest class
   • The model replaces multiplication with addition
   • The reciprocal scale factors cancel in the activation-weight multiplication
   • The weights are set to zero after scaling
8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
   • It removes the model’s weight matrices
   • It turns W8A8 into W16A16
   • It eliminates all quantization error
   • It shifts more scaling burden away from activations and onto weights