کیا ہے توجہ کا طریقہ کار?

ایک ماڈل کا جزو جو ان پٹ کو اویکت نمائندگی میں تبدیل کرتا ہے۔

ایک ٹرانسفارمر میکانزم جو مختلف قسم کے رشتوں کو حاصل کرنے کے لیے متوازی طور پر توجہ کے متعدد آپریشن چلاتا ہے۔

ایک پوزیشنی تعصب کا طریقہ جو ٹوکن فاصلہ کی بنیاد پر توجہ کے اسکور کو جرمانہ کرتا ہے، ماڈلز کو طویل سیاق و سباق میں منتقل کرنے میں مدد کرتا ہے۔

ایسا کام جہاں ایک ماڈل ایک یا زیادہ پہلے سے طے شدہ زمروں کو ان پٹ تفویض کرتا ہے۔

ان پٹ ٹوکنز کی زیادہ سے زیادہ مقدار جس پر ایک زبان کا ماڈل ایک ساتھ کارروائی کر سکتا ہے۔

وقت کے ساتھ حقیقی دنیا کے ان پٹ ڈیٹا میں تبدیلی جو ماڈل کی کارکردگی کو کم کر سکتی ہے۔