ٹرانسفارمرز

توجہ اس بات کا حساب لگاتی ہے کہ ایک پوزیشن کو دوسری پوزیشنوں سے کتنی معلومات لینی چاہئیں۔ ایک مشترکہ فارمولیشن میں، سیکھے ہوئے تخمینے سوالات، کلیدیں اور اقدار پیدا کرتے ہیں۔ سوال کلیدی موازنہ اقدار کو یکجا کرنے کے لیے استعمال ہونے والے وزن کا تعین کرتا ہے۔ متعدد توجہ کے سر ایک پرت کے اندر اس طرح کے متعدد امتزاج کی اجازت دیتے ہیں۔ ٹرانسفارمر پرت میں دیگر آپریشنز بھی شامل ہوتے ہیں، جیسے فیڈ فارورڈ نیٹ ورک، نارملائزیشن، اور بقایا کنکشن۔ پوزیشن کی معلومات کی ضرورت ہے کیونکہ الفاظ کی ترتیب یا دیگر ترتیب عناصر اہمیت رکھتے ہیں۔ مخصوص نفاذ اس بات میں مختلف ہوتے ہیں کہ وہ کس طرح پوزیشن کی نمائندگی کرتے ہیں اور ان کارروائیوں کو ترتیب دیتے ہیں۔ اصل 2017 ٹرانسفارمر نے ترجمے کے لیے ایک انکوڈر-ڈیکوڈر ڈیزائن کا استعمال کیا۔ بعد کے ماڈل مختلف مقاصد کے لیے صرف انکوڈر، صرف ڈیکوڈر، یا انکوڈر ڈیکوڈر انتظامات کا استعمال کرتے ہیں۔ ایک کازل لینگویج ماڈل اگلے ٹوکن کی پیشین گوئی کے دوران کسی پوزیشن کو مستقبل کے ٹوکنز پر جانے سے روکتا ہے۔ یہ رکاوٹ مکمل ان پٹ کی دو طرفہ پروسیسنگ سے مختلف ہے۔ طویل ترتیب پر توجہ دینا حسابی طور پر مہنگا ہو سکتا ہے۔ عملی نظام مختلف اصلاحات کا استعمال کرتے ہیں، لیکن ایک مشتہر سیاق و سباق کی حد یہ ثابت نہیں کرتی ہے کہ ماڈل ایک طویل دستاویز کے ہر حصے کو قابل اعتماد طریقے سے استعمال کرتا ہے۔ آپ کی درخواست کی ضرورت کے مطابق اصل طوالت کے بعد بازیافت، استدلال اور ہدایات کی جانچ کریں۔