اختبار الانتباه المتناثر والمتناثر الأصلي

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. لماذا يعد الاهتمام الذاتي القياسي مكلفًا للتسلسلات الطويلة؟
   • تكلفتها تنمو بشكل تربيعي مع طول التسلسل
   • ويستخدم عدد قليل جدا من المعلمات
   • لا يمكن تشغيله على وحدات معالجة الرسومات
   • إنه يهتم فقط بالرمز الأول
2. ما هي الفكرة الأساسية للاهتمام المتناثر؟
   • إزالة طبقات التغذية الأمامية
   • حساب الانتباه فقط بين الكتل المحددة من الرموز المميزة
   • باستخدام رأس انتباه واحد فقط
   • مضاعفة البعد التضمين
3. ما الذي يجعل الانتباه المتفرق الأصلي (NSA) مختلفًا عن العديد من الأساليب المتفرقة السابقة؟
   • يزيل الاهتمام تماما
   • إنه يعمل فقط أثناء الاستدلال
   • إنه قابل للتدريب من البداية إلى النهاية ومتوافق مع الأجهزة
   • لا يتطلب أي GPU
4. ما هي الفروع الثلاثة التي تجمعها وكالة الأمن القومي لمفاتيحها وقيمها؟
   • التشفير، فك التشفير، والتضمين
   • التسرب والتطبيع والتجميع
   • التكميم والتقليم والتقطير
   • الضغط والاختيار والنافذة المنزلقة
5. لماذا تستخدم وكالة الأمن القومي العمليات على مستوى الكتلة بدلاً من التشتت التعسفي على مستوى الرمز المميز؟
   • للتوافق مع الوصول إلى ذاكرة وحدة معالجة الرسومات وإنتاجية موتر النواة لتحقيق عمليات تسريع حقيقية
   • لجعل النموذج أكبر
   • لتجنب استخدام الاهتمام على الإطلاق
   • لتقليل عدد الطبقات
6. أثناء فك تشفير الانحدار الذاتي، يكون الاهتمام المتناثر مفيدًا بشكل خاص لأن هذه الخطوة غالبًا ما تكون:
   • حساب مرتبط بمصفوفة يتضاعف
   • مرتبط بالذاكرة، لذا فإن تقليل الرموز المميزة التي يتم حضورها يؤدي إلى تسريعها
   • مستقلة عن طول التسلسل
   • تشغيل فقط على وحدات المعالجة المركزية (CPUs).
7. What information does NSA’s compression branch provide to the attention computation?
   • A full dense score for every token pair
   • Only the optimizer’s first moment
   • Coarse-grained summaries of blocks of tokens
   • A random subset of output labels
8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
   • They remove the need to compute attention scores
   • They guarantee zero memory use
   • They force every token to attend globally
   • They can select blocks relevant to the input while remaining aligned with efficient hardware operations