المحولات

يحسب الاهتمام مقدار المعلومات التي يجب أن يأخذها أحد المناصب من المواقف الأخرى. في صيغة مشتركة، تنتج الإسقاطات المستفادة استعلامات ومفاتيح وقيم. تحدد مقارنات مفاتيح الاستعلام الأوزان المستخدمة لدمج القيم. تتيح رؤوس الانتباه المتعددة عدة مجموعات من هذا القبيل داخل الطبقة. تتضمن طبقة المحولات أيضًا عمليات أخرى، مثل شبكة التغذية الأمامية والتطبيع والاتصالات المتبقية. معلومات الموقع مطلوبة لأن ترتيب الكلمات أو عناصر التسلسل الأخرى مهم. تختلف التطبيقات المحددة في كيفية تمثيلها للموضع وترتيب هذه العمليات. استخدم المحول الأصلي لعام 2017 تصميم وحدة فك ترميز التشفير للترجمة. تستخدم النماذج اللاحقة ترتيبات التشفير فقط، أو فك التشفير فقط، أو التشفير-فك التشفير لأهداف مختلفة. يمنع نموذج اللغة السببية الموقف من الاهتمام بالرموز المستقبلية أثناء التنبؤ بالرمز المميز التالي. ويختلف هذا القيد عن المعالجة ثنائية الاتجاه للمدخلات الكاملة. قد يكون الاهتمام بالتسلسلات الطويلة مكلفًا من الناحية الحسابية. تستخدم الأنظمة العملية تحسينات متنوعة، لكن حد السياق المعلن عنه لا يثبت أن النموذج يستخدم كل جزء من مستند طويل بشكل موثوق. اختبار الاسترجاع والاستدلال والتعليمات التالية بالأطوال الفعلية التي يحتاجها طلبك.