SwiGLU ومسابقة التنشيط المسور

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هي العملية الأساسية التي تحدد الوحدة الخطية المسورة؟
   • الضرب من حيث العنصر لإسقاط واحد بإسقاط ثانٍ نشط
   • إضافة إسقاطين خطيين معًا
   • تسلسل رؤوس الاهتمام
   • تقسيم التنشيط حسب معاييرها
2. ما هي وظيفة التنشيط التي يستخدمها SwiGLU لفرع البوابة الخاص به؟
   • ReLU
   • حفيف (سيلو)
   • تانه
   • سوفت ماكس
3. ما هو عدد مصفوفات الوزن التي تستخدمها كتلة التغذية الأمامية SwiGLU؟
   • واحد
   • اثنان
   • ثلاثة
   • أربعة
4. لماذا يتم عادةً تغيير حجم البعد المخفي إلى حوالي الثلثين في طبقات SwiGLU؟
   • لتحسين الدقة العددية
   • لجعل النموذج أعمق
   • لإزالة الحاجة إلى التطبيع
   • للحفاظ على إجمالي المعلمات وFLOPs قابلة للمقارنة مع MLP القياسي على الرغم من المصفوفة الإضافية
5. من الخصائص المميزة لـ Swish مقارنة بـ ReLU أنها:
   • سلس وغير رتيب، مما يسمح بالسلبيات الصغيرة
   • زيادة صارمة وتوج عند 1
   • متطابقة مع وظيفة السيني
   • محددة فقط للمدخلات الإيجابية
6. من قام بتعميم SwiGLU لطبقات تغذية المحولات في عام 2020؟
   • جيفري هينتون
   • نعوم شازير
   • يان ليكون
   • أندريه كارباثي
7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
   • The entire Transformer layer is skipped
   • The output projection is replaced by a sigmoid
   • The matching value-branch dimension contributes little to the output
   • The value branch is permanently frozen
8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
   • The SiLU gate removes the output projection
   • SwiGLU computes a full Hessian
   • The value branch has no learned weights
   • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs