स्विग्लू और गेटेड एक्टिवेशन क्विज़

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. गेटेड लीनियर यूनिट को कौन सा कोर ऑपरेशन परिभाषित करता है?
   • सक्रिय दूसरे प्रक्षेपण द्वारा एक प्रक्षेपण का तत्व-वार गुणन
   • दो रैखिक प्रक्षेपणों को एक साथ जोड़ना
   • ध्यान आकर्षित करने वाले प्रमुख
   • सक्रियता को उनके मानदंड से विभाजित करना
2. स्विग्लू अपनी गेट शाखा के लिए किस सक्रियण फ़ंक्शन का उपयोग करता है?
   • रेलू
   • स्विश (SiLU)
   • तनह
   • सॉफ्टमैक्स
3. एक स्विग्लू फ़ीड-फ़ॉरवर्ड ब्लॉक कितने वेट मैट्रिसेस का उपयोग करता है?
   • एक
   • दो
   • तीन
   • चार
4. स्विग्लू परतों में छिपे हुए आयाम को आम तौर पर लगभग दो-तिहाई तक क्यों बढ़ाया जाता है?
   • संख्यात्मक परिशुद्धता में सुधार करने के लिए
   • मॉडल को और गहरा बनाने के लिए
   • सामान्यीकरण की आवश्यकता को दूर करने के लिए
   • अतिरिक्त मैट्रिक्स के बावजूद कुल मापदंडों और एफएलओपी को एक मानक एमएलपी के बराबर बनाए रखना
5. ReLU की तुलना में स्विश की एक विशिष्ट संपत्ति यह है:
   • चिकना और गैर-मोनोटोनिक, छोटे नकारात्मक को अनुमति देता है
   • सख्ती से बढ़ाते हुए 1 पर सीमित किया गया
   • सिग्मॉइड फ़ंक्शन के समान
   • केवल सकारात्मक इनपुट के लिए परिभाषित
6. 2020 में ट्रांसफॉर्मर फीड-फॉरवर्ड लेयर्स के लिए स्विग्लू को किसने लोकप्रिय बनाया?
   • जेफ्री हिंटन
   • नोम शज़ीर
   • यान लेकन
   • आंद्रेज कारपैथी
7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
   • The entire Transformer layer is skipped
   • The output projection is replaced by a sigmoid
   • The matching value-branch dimension contributes little to the output
   • The value branch is permanently frozen
8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
   • The SiLU gate removes the output projection
   • SwiGLU computes a full Hessian
   • The value branch has no learned weights
   • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs