گائیڈ سے منسلک کوئز · درمیانہ سطح

QLoRA اور 4 بٹ فائن ٹیوننگ کوئز

QLoRA کے منجمد 4 بٹ بیس، قابل تربیت کم درجے کے اڈیپٹرز، NF4، ڈبل کوانٹائزیشن، پیجڈ آپٹیمائزرز، اور عارضی ڈیکوانٹائزیشن کا جائزہ لیں۔

متعلقہ گائیڈ کے راستےکلورا اور 4 بٹ فائن ٹیوننگ
سوال 1 کی 8

QLoRA کے '4-bit' حصے کے پیچھے میموری کو بچانے کا بنیادی خیال کیا ہے؟

ہر سوال کا جائزہ لیں۔8 سوالات

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

  1. QLoRA کے '4-bit' حصے کے پیچھے میموری کو بچانے کا بنیادی خیال کیا ہے؟
    • یہ منجمد بیس ماڈل کے وزن کو 4 بٹس تک کم کرتا ہے۔
    • یہ ماڈل کی 75% تہوں کو حذف کر دیتا ہے۔
    • یہ ماڈل کو صرف 4 دوروں میں تربیت دیتا ہے۔
    • یہ کئی کے بجائے صرف 4 GPU استعمال کرتا ہے۔
  2. QLoRA فائن ٹیوننگ کے دوران، کون سے پیرامیٹرز درحقیقت گریڈینٹ ڈیسنٹ کے ذریعے اپ ڈیٹ ہوتے ہیں؟
    • ماڈل کے تمام اصل وزن
    • صرف چھوٹے کم درجے والے LoRA اڈاپٹر میٹرکس
    • 4 بٹ کوانٹائزیشن مستقل
    • ٹوکنائزر کی لغت
  3. QLoRA کے تناظر میں NF4 کیا ہے؟
    • ایک 4 پرتوں کا نیورل نیٹ ورک
    • ایک نیا آپٹیمائزر الگورتھم
    • 4 بٹ ڈیٹا کی قسم عام طور پر تقسیم شدہ وزن کے لیے موزوں ہے۔
    • ایک 4 نوڈ GPU کلسٹر فارمیٹ
  4. QLoRA ایڈریس میں 'پیجڈ آپٹیمائزرز' کو کیا مسئلہ ہے؟
    • ماڈل فائلوں کا سست انٹرنیٹ ڈاؤن لوڈ
    • غلط ٹوکنائزیشن
    • چھوٹے ڈیٹاسیٹس پر اوور فٹنگ
    • لمبے تسلسل کے دوران میموری سے باہر ہونے والی اسپائکس
  5. ٹریننگ کے دوران 4 بٹ وزن کو کب واپس اعلیٰ درستگی میں تبدیل کیا جاتا ہے؟
    • میٹرکس ضرب کے دوران عین وقت، پھر ضائع کر دیا گیا۔
    • وہ کبھی تبدیل نہیں ہوتے۔ ریاضی 4 بٹس میں کی جاتی ہے۔
    • تربیت کے آغاز میں صرف ایک بار
    • تربیت مکمل ہونے کے بعد ہی
  6. اصل QLoRA پیپر نے معیار کے بارے میں کیا مظاہرہ کیا؟
    • 4 بٹ فائن ٹیوننگ ہمیشہ مکمل فائن ٹیوننگ کو مات دیتی ہے۔
    • ایک GPU پر 65B ماڈل کو فائن ٹیوننگ مکمل 16 بٹ فائن ٹیوننگ کوالٹی سے مماثل ہو سکتی ہے
    • کوانٹائزیشن ماڈلز کو 8 بٹس سے نیچے بیکار بنا دیتی ہے۔
    • صرف چھوٹے ماڈلز کو اس طرح ٹھیک کیا جا سکتا ہے۔
  7. What does QLoRA’s double-quantization step compress?
    • ٹوکنائزر الفاظ کا ذخیرہ
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks