کیا ہے ٹوکنائزیشن?

ان پٹ ٹوکنز کی زیادہ سے زیادہ مقدار جس پر ایک زبان کا ماڈل ایک ساتھ کارروائی کر سکتا ہے۔

ایک ذیلی لفظ ٹوکنائزیشن الگورتھم جو سب سے زیادہ بار بار آنے والے کریکٹر جوڑوں کو دوبارہ قابل استعمال ٹوکنز میں ضم کرتا ہے۔

ایک ماڈل کا جزو جو ان پٹ کو اویکت نمائندگی میں تبدیل کرتا ہے۔

ایک ایسا ماڈل جو متن، تصویر، اور آڈیو جیسے متعدد ڈیٹا کی اقسام پر کارروائی یا تخلیق کر سکتا ہے۔

ٹکنالوجی جو تصاویر میں متن کو تبدیل کرتی ہے یا اسکین کو مشین کے پڑھنے کے قابل متن میں تبدیل کرتی ہے۔

ایک لینگوئج-ایگنوسٹک ٹوکنائزر جو خالی جگہ پر پہلے سے تقسیم کیے بغیر خام متن سے براہ راست ذیلی الفاظ کی اکائیوں کو سیکھتا ہے۔