کیا ہے کٹائی?

ایک توجہ کا نمونہ جہاں ہر ٹوکن حساب کو کم کرنے کے لیے صرف قریبی ٹوکنز کی ایک مقررہ سائز والی ونڈو پر حاضر ہوتا ہے۔

ایک تجرباتی تعلق یہ ظاہر کرتا ہے کہ ماڈل کے سائز، ڈیٹا یا کمپیوٹ کے ساتھ کارکردگی کیسے بہتر ہوتی ہے۔

ایک چھوٹا ماڈل جس کو کسی بڑے ماڈل کے رویے کی نقل کرنے کی تربیت دی گئی ہے جبکہ اندازہ میں کم کمپیوٹ کا استعمال کیا گیا ہے۔

بنیادی تربیتی الگورتھم جو پیشین گوئی کی غلطیوں کو نیٹ ورک کے ذریعے پیچھے کی طرف پھیلا کر ماڈل کے وزن کو اپ ڈیٹ کرتا ہے۔

ماڈلز کو تربیت دینے اور چلانے کے لیے درکار پروسیسنگ وسائل، جو اکثر FLOPS یا GPU گھنٹوں میں ماپا جاتا ہے۔

ایک ویکٹر دکھا رہا ہے کہ نقصان کو کم کرنے کے لیے ہر پیرامیٹر کو کتنا بدلنا چاہیے۔