اسموتھ کوانٹ اور ایکٹیویشن کوانٹائزیشن کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. اسموتھ کوانٹ خاص طور پر کم درستگی کے تخمینے میں کس مسئلے کو حل کرتا ہے؟
   • ایکٹیویشن چینلز میں انتہائی بیرونی اقدار
   • وہ وزن جو نمائندگی کرنے کے لیے بہت چھوٹے ہیں۔
   • بیک پروپیگیشن کے دوران میلان کا غائب ہونا
   • ٹوکن الفاظ کے سائز کی حد
2. اسموتھ کوانٹ کس طرح ایکٹیویشن کو کوانٹائز کرنا آسان بناتا ہے؟
   • یہ تمام ایکٹیویشنز کو ایک مقررہ حد سے اوپر کلپ کرتا ہے۔
   • یہ ایکٹیویشن کو کم کرکے اور اسی عنصر سے وزن بڑھا کر مشکل کو منتقل کرتا ہے۔
   • یہ ماڈل کو آخر سے آخر تک 8 بٹ میں دوبارہ تربیت دیتا ہے۔
   • یہ ایکٹیویشن کو صرف فلوٹنگ پوائنٹ میں تبدیل کرتا ہے۔
3. اشارے W8A8 کا کیا مطلب ہے؟
   • 8 وزن کی تہوں اور 8 توجہ کے سر
   • وزن میں کمی 8 اور الفا 8
   • 8 بٹ وزن اور 8 بٹ ایکٹیویشنز
   • 8 کارکنان اور 8 ایکسلریٹر
4. اسموتھ کوانٹ کی اسکیلنگ میں بنیادی طور پر کوئی رن ٹائم اوور ہیڈ کیوں شامل نہیں ہوتا ہے؟
   • یہ ایک علیحدہ سرشار GPU پر چلتا ہے۔
   • یہ صرف تربیت کے دوران لاگو ہوتا ہے، کبھی اندازہ نہیں لگانا
   • جدید CPUs اسکیلنگ کے عوامل کو نظر انداز کرتے ہیں۔
   • ترازو کو ملحقہ وزن یا فیوزڈ آپریشنز میں آف لائن جذب کیا جاتا ہے۔
5. SmoothQuant میں الفا ہائپر پیرامیٹر کیا کردار ادا کرتا ہے؟
   • یہ کنٹرول کرتا ہے کہ کتنا بیرونی بوجھ ایکٹیویشن سے وزن میں بدلتا ہے۔
   • یہ فائن ٹیوننگ کے لیے سیکھنے کی شرح کا تعین کرتا ہے۔
   • یہ کوانٹائزیشن بٹس کی تعداد کا تعین کرتا ہے۔
   • یہ منتخب کرتا ہے کہ کون سی توجہ کاٹنا ہے۔
6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
   • A guaranteed 10× speedup on every GPU
   • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
   • No runtime or memory benefit
   • A 50% accuracy drop in every tested model
7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
   • The output is rounded to the nearest class
   • The model replaces multiplication with addition
   • The reciprocal scale factors cancel in the activation-weight multiplication
   • The weights are set to zero after scaling
8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
   • It removes the model’s weight matrices
   • It turns W8A8 into W16A16
   • It eliminates all quantization error
   • It shifts more scaling burden away from activations and onto weights