SwiGLU اور گیٹڈ ایکٹیویشن کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. کیا بنیادی آپریشن گیٹڈ لکیری یونٹ کی وضاحت کرتا ہے؟
   • عنصر کے لحاظ سے ایک پروجیکشن کا ایک فعال دوسرے پروجیکشن سے ضرب
   • دو لکیری تخمینوں کو ایک ساتھ شامل کرنا
   • توجہ مرکوز کرنے والے سر
   • فعالیتوں کو ان کے معمول کے مطابق تقسیم کرنا
2. SwiGLU اپنی گیٹ برانچ کے لیے کون سا ایکٹیویشن فنکشن استعمال کرتا ہے؟
   • ReLU
   • سوئش (SiLU)
   • تانہ
   • سافٹ میکس
3. ایک SwiGLU فیڈ فارورڈ بلاک کتنے ویٹ میٹرس استعمال کرتا ہے؟
   • ایک
   • دو
   • تین
   • چار
4. پوشیدہ طول و عرض عام طور پر SwiGLU تہوں میں تقریباً دو تہائی کیوں ہے؟
   • عددی درستگی کو بہتر بنانے کے لیے
   • ماڈل کو گہرا بنانے کے لیے
   • نارملائزیشن کی ضرورت کو دور کرنے کے لیے
   • اضافی میٹرکس کے باوجود کل پیرامیٹرز اور FLOPs کو معیاری MLP سے موازنہ رکھنے کے لیے
5. ReLU کے مقابلے سوئش کی ایک مخصوص خاصیت یہ ہے کہ یہ ہے:
   • ہموار اور غیر یکسر، چھوٹے منفی کی اجازت دیتا ہے۔
   • سختی سے بڑھ رہا ہے اور 1 پر محدود ہے۔
   • سگمائیڈ فنکشن سے مماثل
   • صرف مثبت آدانوں کے لیے بیان کیا گیا ہے۔
6. 2020 میں ٹرانسفارمر فیڈ فارورڈ لیئرز کے لیے SwiGLU کو کس نے مقبول بنایا؟
   • جیفری ہنٹن
   • نوم شازیر
   • یان لیکون
   • اندریج کارپاتھی
7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
   • The entire Transformer layer is skipped
   • The output projection is replaced by a sigmoid
   • The matching value-branch dimension contributes little to the output
   • The value branch is permanently frozen
8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
   • The SiLU gate removes the output projection
   • SwiGLU computes a full Hessian
   • The value branch has no learned weights
   • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs