جی پی ٹی کی تاریخ

2018 کے کام نے زبان کی تفہیم کے کاموں کے لیے زیر نگرانی موافقت کے ساتھ غیر زیر نگرانی لینگویج ماڈل پری ٹریننگ کو ملایا۔ اس کا تعاون اس بات سے متعلق ہے کہ کس طرح ایک وسیع پیمانے پر پہلے سے تربیت یافتہ ٹرانسفارمر ٹاسک مخصوص فائن ٹیوننگ کے ساتھ متعدد بہاو والے کاموں کو سپورٹ کر سکتا ہے۔ 2019 GPT-2 رپورٹ نے زبان کے ماڈلز کو غیر زیر نگرانی ملٹی ٹاسک سیکھنے والوں کے طور پر جانچا ہے۔ اس نے مطالعہ کیا کہ کیا اگلا ٹوکن لینگویج ماڈل ہر کام کے لیے علیحدہ تربیتی طریقہ کار کے بغیر متن کے ذریعے بیان کردہ کام انجام دے سکتا ہے۔ تحقیق کی تشکیل اہمیت رکھتی ہے: کسی خاص تشخیص کے نتیجے کا مطلب یہ نہیں ہے کہ ہر کام حل ہو گیا ہے۔ 2020 GPT-3 کام نے چند شاٹ تشخیص پر زور دیا۔ مثالوں کو ان پٹ سیاق و سباق میں شامل کیا گیا تھا، جس سے ماڈل کو اطلاع دی گئی تشخیص کے دوران اس انفرادی کام کے لیے گریڈینٹ اپ ڈیٹ کے بغیر کسی کام کی کوشش کرنے کی اجازت دی گئی۔ یہ لیبل والے ڈیٹاسیٹ پر فائن ٹیوننگ ماڈل کے پیرامیٹرز سے مختلف ہے۔ تحقیق کے نام، ماڈل ورژن اور مصنوعات کو الگ رکھیں۔ چیٹ انٹرفیس، بازیافت، ٹولز، اور بعد میں موافقت تبدیل کر سکتی ہے کہ سسٹم اپنے بنیادی زبان کے ماڈل سے آگے کیسے برتاؤ کرتا ہے۔ تاریخی نتائج کو ان کے ڈیٹا سیٹس، اشارے، تشخیص کی ترتیبات اور حدود کے ساتھ پڑھنا چاہیے۔ وہ موجودہ مصنوعات کی بے وقت پیمائش کے بجائے کسی خاص تجربے کا ثبوت ہیں۔