اختبار مرتبط بالدليل · متوسط المستوى
ALiBi موقف التحيز مسابقة
تحقق كيف يضيف ALiBi تحيزات انتباه قائمة على المسافة ويدعم سلاسل استدلال أطول دون جداول موضع مطلقة متعلمة.
سؤال 1 من 8
ما الذي يمثله ALiBi؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما الذي يمثله ALiBi؟
- الاهتمام بالتحيزات الخطية
- التحيز الخطي التكيفي
- ترميز ثنائي الاتجاه محاذاة
- الفهرسة الخطية المطلقة
- كيف يعاقب ALiBi الرموز البعيدة؟
- عن طريق تصفية التضمينات خارج النافذة الثابتة
- وذلك بإضافة عقوبة تتناسب مع المسافة بين الاستعلام والمواضع الرئيسية
- من خلال تعلم تضمين منفصل لكل موقف
- عن طريق تدوير الاستعلام والمتجهات الرئيسية
- ما هي الميزة العملية الأكثر شهرة لـ ALiBi؟
- إنه يلغي الحاجة إلى softmax
- فهو يجعل الانتباه يعمل في الذاكرة الثابتة
- إنه يستقرئ بشكل جيد لتسلسلات أطول من تلك التي تظهر في التدريب
- إنه يلغي الحاجة إلى رؤوس اهتمام متعددة
- ما هو المختلف في الانحياز الخطي عبر رؤوس الانتباه؟
- يشترك كل رأس في نفس المنحدر تمامًا
- يتم تعلم المنحدرات أثناء التدريب
- فقط الرأس الأول يتلقى التحيز
- يحصل كل رأس على ميل ثابت خاص به، مما يشكل تسلسلًا هندسيًا
- بالمقارنة مع التضمينات الموضعية التقليدية، كم عدد المعلمات التي تم تعلمها من ALiBi؟
- لا شيء - منحدرات التحيز ثابتة، وليست متعلمة
- واحد لكل منصب
- واحد لكل رمز
- اثنان لكل رأس اهتمام
- ما هو النموذج الكبير المعروف الذي يستخدم ALiBi للحصول على معلومات الموقع؟
- جي بي تي-2
- بلوم
- بيرت
- Word2Vec
- At what stage does ALiBi apply its distance-based bias?
- To token IDs before they enter the embedding table
- To the final vocabulary probabilities after decoding
- To query-key attention scores before the softmax
- To the training labels after loss calculation
- Why can ALiBi support inference on sequences longer than those used in training?
- It removes the need for attention at longer lengths
- It automatically retrains the model while generating
- It stores a complete answer for every possible sequence length
- Its distance-based bias does not require a separately learned embedding for every absolute position