تعلّم الأخبار الأدوات وظائف المهمة

مصطلح مسرد الذكاء الاصطناعي

ما هو آلية الانتباه؟

التعريف

أحد مكونات النموذج الذي يركز ديناميكيًا على الأجزاء ذات الصلة من المدخلات عند إنتاج المخرجات.

تصفح قاموس الذكاء الاصطناعي الكامل استكشف جميع أدلة الذكاء الاصطناعي المجانية

التشفيرمكون النموذج الذي يحول المدخلات إلى تمثيلات كامنة.اهتمام متعدد الرؤوسآلية محولة تقوم بتشغيل العديد من عمليات الانتباه بالتوازي لالتقاط أنواع مختلفة من العلاقات.عليبيطريقة تحيز موضعي تعاقب درجات الانتباه بناءً على المسافة الرمزية، مما يساعد النماذج على الاستقراء في سياقات أطول.التصنيفمهمة حيث يقوم النموذج بتعيين مدخلات لواحدة أو أكثر من الفئات المحددة مسبقًا.نافذة السياقالحد الأقصى لعدد رموز الإدخال التي يمكن لنموذج اللغة معالجتها مرة واحدة.انجراف البياناتالتحول في بيانات الإدخال في العالم الحقيقي مع مرور الوقت يمكن أن يؤدي إلى انخفاض أداء النموذج.

تعرف على المزيد في أدلةنا المجانية

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

انظر أيضا

Artificial Intelligence (AI)Autonomous System API (Application Programming Interface)Backpropagation Annotation Baseline Model Algorithmic Transparency Benchmark