اگلا ٹوکن پیشن گوئی

Repeated billions of times, this single task produces models that write, reason, and converse.

اگلا ٹوکن پیشن گوئی ایک ماڈل کو تربیت دیتی ہے تاکہ اگلے ٹوکن کو امکانات تفویض کیے جائیں جو کہ تمام سابقہ ​​ٹوکنز کو دیکھتے ہیں۔ متن کو پہلے ٹوکنز (سب ورڈ پیسز) میں ٹوکنائزر جیسے بائٹ پیئر انکوڈنگ کے ذریعے توڑا جاتا ہے۔ ایک ڈیکوڈر صرف ٹرانسفارمر ترتیب کو بائیں سے دائیں پڑھتا ہے اور اگلی پوزیشن کے لیے پوری ذخیرہ الفاظ میں امکانی تقسیم کو آؤٹ پٹ کرتا ہے۔ ٹریننگ کے دوران، ماڈل کو بڑے پیمانے پر ٹیکسٹ کارپورا دکھایا جاتا ہے اور جب بھی یہ اصل اگلے ٹوکن کے لیے کم امکان تفویض کرتا ہے تو اسے جرمانہ کیا جاتا ہے۔ نسل کے وقت، ماڈل نمونے یا لالچ سے ایک ٹوکن چنتا ہے، اسے جوڑتا ہے، اور اس لوپ کو خود بخود دہراتا ہے۔ یہ ایک مقصد نمایاں طور پر پیمانہ ہے: GPT-2، GPT-3، اور جانشین سبھی نے اگلے ٹوکن کی پیشن گوئی کرنے میں بہت اچھا حاصل کر کے خالصتاً گرامر، حقائق، ترجمہ اور استدلال سیکھا۔