گائیڈ سے منسلک کوئز · درمیانہ سطح

GPTQ اور AWQ پوسٹ ٹریننگ کوانٹائزیشن کوئز

GPTQ اور AWQ، کیلیبریشن ڈیٹا، گھماؤ معاوضہ، ایکٹیویشن سے آگاہ چینلز اور کم بٹ میموری کے درمیان فرق کو چیک کرتا ہے۔

متعلقہ گائیڈ کے راستےGptq اور Awq پوسٹ ٹریننگ کوانٹائزیشن

سوال 1 کی 8

'پوسٹ ٹریننگ کوانٹائزیشن' کا کیا مطلب ہے؟

ہر سوال کا جائزہ لیں۔8 سوالات

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

'پوسٹ ٹریننگ کوانٹائزیشن' کا کیا مطلب ہے؟
- پہلے سے تربیت یافتہ ماڈل کے وزن کو مکمل دوبارہ تربیت کے بغیر کم درستگی کے لیے کمپریس کرنا
- مکمل طور پر کم درستگی پر ماڈل کو دوبارہ تربیت دینا
- تعیناتی کے بعد مزید تربیتی ڈیٹا شامل کرنا
- ماڈل کے پیرامیٹر کی تعداد میں اضافہ
کوانٹائزنگ کرتے وقت راؤنڈنگ غلطیوں کی تلافی کے لیے GPTQ کون سی معلومات استعمال کرتا ہے؟
- ماڈل کی الفاظ کی فہرست
- انشانکن ڈیٹاسیٹ سے سیکنڈ آرڈر (ہیسیئن/کرویچر) معلومات
- صارف کی فوری تاریخ
- بے ترتیب شور
کون سی کلیدی بصیرت AWQ (ایکٹیویشن سے آگاہ وزن کوانٹائزیشن) چلاتی ہے؟
- تمام وزن یکساں طور پر اہم ہیں۔
- ایکٹیویشن کو کوانٹائز کیا جانا چاہئے لیکن وزن کو چھوا نہیں جانا چاہئے۔
- وزن کے چینلز کا ایک چھوٹا سا حصہ خاص طور پر اہم ہے اور ان کی حفاظت کی جانی چاہئے۔
- کوانٹائزیشن صرف پری ٹریننگ کے دوران ہونی چاہیے۔
4 بٹ کوانٹائزیشن 16 بٹ وزن کے مقابلے میں کتنی میموری بچاتی ہے؟
- کوئی بچت نہیں۔
- تقریباً دوگنا میموری
- بالکل آدھی یادداشت
- تقریباً ایک چوتھائی میموری (4x کمی)
جی پی ٹی کیو اور اے ڈبلیو کیو دونوں ہی عام طور پر وزن کو کوانٹائز کیوں کرتے ہیں لیکن ایکٹیویشن کو زیادہ درستگی پر کیوں رکھتے ہیں؟
- وزن میموری پر حاوی ہوتا ہے، اور جارحانہ ایکٹیویشن کوانٹائزیشن درستگی کو زیادہ نقصان پہنچاتی ہے۔
- ٹرانسفارمرز میں ایکٹیویشنز موجود نہیں ہیں۔
- ایکٹیویشنز پہلے ہی 1 بٹ ہیں۔
- یہ قانون کی طرف سے ضروری ہے
کنزیومر ہارڈویئر پر مقامی طور پر کوانٹائزڈ ماڈلز چلانے کے لیے عام طور پر کون سا ٹول استعمال ہوتا ہے؟
- Microsoft لفظ
- llama.cpp
- ایک اسپریڈشیٹ پروگرام
- اکیلے ایک ویب براؤزر
How does GPTQ use a calibration dataset during layer-wise weight quantization?
- It adds new training labels to the model
- It selects a new tokenizer vocabulary
- It estimates second-order information to compensate for rounding errors
- It measures only GPU temperature
How does AWQ identify which weight channels deserve protection?
- It computes a full Hessian inverse
- It adds random noise to all weights
- It selects channels only by their index
- It uses activation magnitudes to identify channels important to preserve