مصطلح مسرد الذكاء الاصطناعي

ما هو عليبي?

التعريف

طريقة تحيز موضعي تعاقب درجات الانتباه بناءً على المسافة الرمزية، مما يساعد النماذج على الاستقراء في سياقات أطول.

المصطلحات ذات الصلة

حبل (التضمين الموضعي الدوار)
طريقة ترميز موضعية تقوم بتدوير الاستعلام والمتجهات الرئيسية لتشفير مواضع الرمز المميز النسبية.
الترميز الموضعي
المعلومات المضافة إلى تضمينات الرمز المميز حتى تتمكن المحولات من التمييز بين ترتيب التسلسل.
انزلاق النافذة الاهتمام
نمط انتباه حيث يهتم كل رمز مميز فقط بنافذة ذات حجم ثابت من الرموز المميزة القريبة لتقليل الحوسبة.
التحيز الخوارزمي
عدم العدالة المنهجية في مخرجات النموذج بسبب البيانات المنحرفة أو الافتراضات أو اختيارات النمذجة.
آلية الانتباه
أحد مكونات النموذج الذي يركز ديناميكيًا على الأجزاء ذات الصلة من المدخلات عند إنتاج المخرجات.
التحيز
نمط ثابت من الخطأ أو الظلم في البيانات أو سلوك النموذج.

تعرف على المزيد في أدلةنا المجانية

ALiBi Position Bias

انظر أيضا

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
تصفح قاموس الذكاء الاصطناعي الكاملاستكشف جميع أدلة الذكاء الاصطناعي المجانية