ما هو آلية الانتباه?

مكون النموذج الذي يحول المدخلات إلى تمثيلات كامنة.

آلية محولة تقوم بتشغيل العديد من عمليات الانتباه بالتوازي لالتقاط أنواع مختلفة من العلاقات.

طريقة تحيز موضعي تعاقب درجات الانتباه بناءً على المسافة الرمزية، مما يساعد النماذج على الاستقراء في سياقات أطول.

مهمة حيث يقوم النموذج بتعيين مدخلات لواحدة أو أكثر من الفئات المحددة مسبقًا.

الحد الأقصى لعدد رموز الإدخال التي يمكن لنموذج اللغة معالجتها مرة واحدة.

التحول في بيانات الإدخال في العالم الحقيقي مع مرور الوقت يمكن أن يؤدي إلى انخفاض أداء النموذج.