جاری پری ٹریننگ بمقابلہ فائن ٹیوننگ

جاری پری ٹریننگ، جسے ڈومین ایڈاپٹیو پری ٹریننگ بھی کہا جاتا ہے، وہیں شروع ہوتا ہے جہاں اصل پری ٹریننگ رکی تھی۔ ماڈل ٹارگٹ ڈومین سے خام ٹیکسٹ دیکھتا ہے، جیسے میڈیکل پیپرز، سورس کوڈ یا قانونی فائلنگ، اور ہر اگلے ٹوکن کی پیشن گوئی کرنا سیکھتا ہے، بالکل اسی طرح جیسے پہلے سے تربیت میں۔ گرورنگن اور ساتھیوں نے 2020 کے پیپر ڈونٹ اسٹاپ پری ٹریننگ میں دکھایا کہ ڈومین ٹیکسٹ پر پہلے سے تربیت کے دوسرے مرحلے نے بائیو میڈیکل، کمپیوٹر سائنس، نیوز اور ریویو ڈومینز کے کاموں پر RoBERTA کو بہتر کیا۔ اسے عام طور پر متن کی بڑی مقدار، اکثر اربوں ٹوکنز، اور مکمل پیرامیٹر ٹریننگ کی ضرورت ہوتی ہے، لہذا اس کی لاگت ٹھیک ٹیوننگ سے کہیں زیادہ ہوتی ہے۔ فائن ٹیوننگ، عام طور پر زیر نگرانی فائن ٹیوننگ، فوری اور رسپانس جوڑوں کا استعمال کرتی ہے۔ نقصان کی گنتی عام طور پر صرف جوابی ٹوکنز پر کی جاتی ہے، اس لیے ماڈل سیکھتا ہے کہ ان پٹ کے بعد کیا پیدا کرنا ہے۔ ڈیٹا سیٹس کی حد چند ہزار سے لے کر سیکڑوں ہزاروں مثالوں تک ہے، اور پیرامیٹر سے موثر طریقے جیسے LoRA اسے معمولی ہارڈ ویئر پر سستی بناتے ہیں۔ یہ فارمیٹ، انداز، کام کے رویے اور ہدایات کی پیروی کرنے میں اچھا ہے۔ ترجیحی طریقے جیسے کہ RLHF یا DPO اکثر فالو کرتے ہیں۔ ایک عام پائپ لائن بیس ماڈل ہے، پھر پہلے سے تربیت جاری رکھی گئی، پھر نگرانی کی گئی فائن ٹیوننگ، پھر ترجیحی ٹیوننگ۔ مسلسل پیشگی تربیت کا ایک معروف خطرہ ہے: تباہ کن بھول جانا، جہاں عمومی مہارتیں زوال پذیر ہوتی ہیں۔ چیٹ ماڈل پر لاگو کیا جاتا ہے، یہ مندرجہ ذیل ہدایات کو بھی ختم کر سکتا ہے، لہذا ٹیمیں اکثر بیس ماڈل سے شروع ہوتی ہیں اور بعد میں انسٹرکشن ٹیوننگ کو دوبارہ کرتی ہیں۔ دو غلط فہمیاں سامنے آتی ہیں۔ سب سے پہلے، فائن ٹیوننگ بہت سے نئے حقائق کو شامل کرنے کا قابل اعتماد طریقہ نہیں ہے۔ Gekhman and colleagues (2024) جیسی تحقیق نے پایا کہ ماڈلز فائن ٹیوننگ کے ذریعے آہستہ آہستہ نئے حقائق سیکھتے ہیں اور ایسا کرنے سے فریب میں اضافہ ہو سکتا ہے۔ تیزی سے بدلتے ہوئے حقائق کے لیے، بازیافت اکثر بہتر ٹول ہوتا ہے۔ دوسرا، بلومبرگ جی پی ٹی کو بعض اوقات مسلسل پیشگی تربیت کے طور پر حوالہ دیا جاتا ہے، لیکن اسے مالی اور عمومی اعداد و شمار کے مرکب پر شروع سے تربیت دی گئی تھی۔ ایک موٹا اصول: جب ڈومین لینگویج ویب ٹیکسٹ سے بہت مختلف ہو اور بغیر لیبل والا ڈیٹا بہت زیادہ ہو تو مسلسل پیشگی تربیت کا استعمال کریں۔ جب آپ کو کسی رویے یا فارمیٹ کی ضرورت ہو تو فائن ٹیوننگ کا استعمال کریں۔