ماڈل کوانٹائزیشن کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. Quantizing a model mainly reduces what?
   • وزن اور ایکٹیویشن کو ذخیرہ کرنے کے لیے استعمال ہونے والی عددی درستگی
   • نیٹ ورک میں تہوں کی تعداد
   • ٹریننگ ڈیٹاسیٹ جس پر ماڈل بنایا گیا تھا۔
   • وہ زبان جسے ماڈل سمجھ سکتا ہے۔
2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
   • The payload is unchanged
   • It is one hundredth of the original payload
   • The four-bit payload is one quarter of the sixteen-bit payload
   • The payload becomes four times larger
3. جارحانہ کم بٹ کوانٹائزیشن کا بنیادی نقصان کیا ہے؟
   • ماڈل اپنی تربیتی زبان بھول جاتا ہے۔
   • درستگی کا ممکنہ نقصان کیونکہ قدروں کو کم بالٹیوں میں نچوڑا جاتا ہے۔
   • یہ صرف سپر کمپیوٹر پر چل سکتا ہے۔
   • یہ پرتوں کو مستقل طور پر حذف کر دیتا ہے۔
4. کوانٹائزیشن سے آگاہی تربیت پوسٹ ٹریننگ کوانٹائزیشن سے کیسے مختلف ہے؟
   • اسے بالکل بھی ڈیٹا کی ضرورت نہیں ہے۔
   • یہ صرف تصاویر پر کام کرتا ہے۔
   • یہ وقت کے ساتھ بٹس کی تعداد میں اضافہ کرتا ہے۔
   • یہ تربیت کے دوران راؤنڈنگ کی نقل کرتا ہے لہذا ماڈل کم درستگی کو برداشت کرنا سیکھتا ہے۔
5. کون سی تکنیک 4 بٹ کوانٹائزیشن کا استعمال کرتی ہے تاکہ ایک GPU پر فائن ٹیوننگ بڑے ماڈلز کو سستی بنایا جا سکے؟
   • ڈراپ آؤٹ
   • بیچ نارملائزیشن
   • QLoRA
   • ٹوکنائزیشن
6. فی چینل یا فی گروپ اسکیلنگ کوانٹائزڈ ماڈلز کی مدد کیوں کرتی ہے؟
   • یہ درستگی کو محفوظ رکھنے کے لیے ویٹ میٹرکس کے ٹکڑوں کو الگ پیمانے کے عوامل تفویض کرتا ہے۔
   • یہ کسی بھی وزن کی ضرورت کو دور کرتا ہے۔
   • یہ ماڈل کو بڑا بناتا ہے۔
   • یہ متن کو آڈیو میں تبدیل کرتا ہے۔
7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
   • Every four-bit weight expands permanently to a gigabyte
   • Quantization guarantees no runtime allocations
   • Only the model’s filename consumes the remaining memory
   • Caches, scales, unquantized tensors, or workspace need additional memory
8. A team quantizes to INT8 but sees no inference speedup. What should it check?
   • Whether the training data are alphabetized
   • Whether the workload uses efficient supported kernels on its hardware
   • Whether lower bit width always guarantees faster execution
   • Whether the model must have changed languages