تعلّم الأخبار الأدوات وظائف المهمة

مصطلح مسرد الذكاء الاصطناعي

ما هو عليبي؟

التعريف

طريقة تحيز موضعي تعاقب درجات الانتباه بناءً على المسافة الرمزية، مما يساعد النماذج على الاستقراء في سياقات أطول.

تصفح قاموس الذكاء الاصطناعي الكامل استكشف جميع أدلة الذكاء الاصطناعي المجانية

حبل (التضمين الموضعي الدوار)طريقة ترميز موضعية تقوم بتدوير الاستعلام والمتجهات الرئيسية لتشفير مواضع الرمز المميز النسبية.الترميز الموضعيالمعلومات المضافة إلى تضمينات الرمز المميز حتى تتمكن المحولات من التمييز بين ترتيب التسلسل.انزلاق النافذة الاهتمامنمط انتباه حيث يهتم كل رمز مميز فقط بنافذة ذات حجم ثابت من الرموز المميزة القريبة لتقليل الحوسبة.التحيز الخوارزميعدم العدالة المنهجية في مخرجات النموذج بسبب البيانات المنحرفة أو الافتراضات أو اختيارات النمذجة.آلية الانتباهأحد مكونات النموذج الذي يركز ديناميكيًا على الأجزاء ذات الصلة من المدخلات عند إنتاج المخرجات.التحيزنمط ثابت من الخطأ أو الظلم في البيانات أو سلوك النموذج.

تعرف على المزيد في أدلةنا المجانية

ALiBi Position Bias

انظر أيضا

BPE (Byte Pair Encoding)Multi-Head Attention SentencePiece Flash Attention ANN (Approximate Nearest Neighbor)QLoRA HNSW DPO (Direct Preference Optimization)