गाइड से जुड़ी प्रश्नोत्तरी · कठिन स्तर

आरएमएसनॉर्म और प्री-लेयर सामान्यीकरण प्रश्नोत्तरी

इन स्वतंत्र डिज़ाइन विकल्पों को भ्रमित किए बिना RMSNorm आँकड़े, प्री-एलएन प्लेसमेंट, अवशिष्ट पथ और क्वेरी-कुंजी सामान्यीकरण की जाँच करता है।

संबंधित मार्गदर्शक पथआरएमएसनॉर्म और प्री लेयर सामान्यीकरण
प्रश्न 1 का 8

मानक लेयरनॉर्म की तुलना में आरएमएसनॉर्म क्या छोड़ता है?

प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

  1. मानक लेयरनॉर्म की तुलना में आरएमएसनॉर्म क्या छोड़ता है?
    • माध्य घटाव (पुनः केन्द्रित करना)
    • सीखा हुआ स्केल पैरामीटर
    • अवशिष्ट संबंध
    • सॉफ्टमैक्स ऑपरेशन
  2. RMSNorm प्रत्येक सक्रियण वेक्टर को किस मात्रा से विभाजित करता है?
    • इसका विचरण
    • इसका मूल माध्य वर्ग है
    • इसका अधिकतम निरपेक्ष मान
    • यह L1 मानक है
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. प्री-एलएन ब्लॉक में, सामान्यीकरण परत जानबूझकर किस पथ को अछूता छोड़ देती है?
    • फ़ीड-फ़ॉरवर्ड वज़न
    • टोकन एम्बेडिंग
    • आउटपुट सॉफ्टमैक्स
    • अवशिष्ट (पहचान) कनेक्शन
  5. कौन से आधुनिक ओपन-वेट मॉडल परिवार डिफ़ॉल्ट रूप से RMSNorm का उपयोग करते हैं?
    • एलएलएएमए, मिस्ट्रल, और क्वेन
    • एलेक्सनेट और वीजीजी
    • रेसनेट और इंसेप्शन
    • BERT-बेस और मूल ट्रांसफार्मर
  6. RMSNorm का हालिया एप्लिकेशन 'QK-norm' क्या है?
    • अंतिम आउटपुट लॉग को सामान्य बनाना
    • लॉगिट वृद्धि को नियंत्रित करने के लिए ध्यान संबंधी प्रश्नों और कुंजियों पर RMSNorm लागू करना
    • कुंजी-मूल्य कैश को परिमाणित करना
    • सामान्यीकरण को पूरी तरह से छोड़ देने का एक तरीका
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block