کیا ہے ٹوکن?

AI سسٹم جو نیا مواد تیار کرتے ہیں جیسے کہ متن، تصاویر، آڈیو، ویڈیو یا کوڈ۔

متن کی تخلیق اور تجزیہ کرنے کے لیے بڑے پیمانے پر ٹیکسٹ کارپورا پر تربیت یافتہ زبان کا ماڈل۔

ایک ایسا ماڈل جو متن، تصویر، اور آڈیو جیسے متعدد ڈیٹا کی اقسام پر کارروائی یا تخلیق کر سکتا ہے۔

ایک لینگوئج-ایگنوسٹک ٹوکنائزر جو خالی جگہ پر پہلے سے تقسیم کیے بغیر خام متن سے براہ راست ذیلی الفاظ کی اکائیوں کو سیکھتا ہے۔

لینگویج ماڈلز میں مرحلہ وار استدلال کا جائزہ لینے کے لیے گریڈ اسکول کے ریاضی کے الفاظ کے مسائل کا ایک معیار۔

ماڈل ان پٹ کے لیے متن کو ٹوکن میں تقسیم کرنے کا عمل۔