طرح الانتباه واختبار تقليم الرأس

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هو الهدف من نشر الاهتمام؟
   • لتتبع تدفق المعلومات التراكمية من رموز الإدخال إلى المخرجات عبر الطبقات
   • لإضافة المزيد من الطبقات إلى المحول
   • لزيادة معدل التعلم
   • لتحويل الانتباه إلى الإلتواء
2. لماذا غالبًا ما تكون خريطة الانتباه ذات الطبقة الواحدة غير كافية للتفسير؟
   • الاهتمام لا يحسب أبدا
   • تمتزج المعلومات عبر العديد من الطبقات والرؤوس، لذلك تفوت خريطة واحدة المسار الكامل
   • الخرائط موحدة دائمًا
   • المحولات لها رأس واحد فقط
3. ما الذي يضيفه طرح الانتباه إلى كل مصفوفة انتباه لمراعاة الاتصالات المتبقية؟
   • انحياز قدره صفر
   • مصطلح الضوضاء العشوائية
   • مكون مصفوفة الهوية قبل التطبيع
   • سوفت ماكس اضافي
4. ما الذي كشفته الأبحاث حول الاهتمام متعدد الرؤوس حول تكرار الرأس؟
   • كل رأس ضروري
   • لا يمكن إزالة الرؤوس
   • التقليم يضاعف دائمًا الدقة
   • يمكن تقليم العديد من الرؤوس مع فقدان القليل من الدقة
5. كيف يتم تقدير أهمية الرأس عادة للتقليم؟
   • من خلال حساسية فقدان قناع الرأس على أساس التدرج
   • حسب موقعها الأبجدي
   • من خلال حساب معلماتها فقط
   • بحلول الوقت من اليوم
6. What different jobs do attention rollout and head pruning each do?
   • إنها تقنيات متطابقة
   • يساعد الإصدار التجريبي على التفسير بينما يستغل التقليم التكرار لضغط النماذج
   • كلاهما يضيف المعلمات فقط
   • لا يمس الاهتمام
7. In an attention-rollout calculation, why are residual paths included with layer attention?
   • To make every head have the same weight
   • To remove the value vectors from the Transformer
   • To approximate information that can pass along the identity path when layer transitions are composed
   • To prevent the attention matrix from being normalized
8. How should an attention-rollout score be interpreted?
   • As proof that a token caused the output
   • As the exact value vector used at every layer
   • As a measure of how many heads the model contains
   • As a post-hoc approximation of relative token influence, not a causal explanation