گائیڈ سے منسلک کوئز · مشکل سطح

RMSNorm اور پری لیئر نارملائزیشن کوئز

RMSNorm کے اعدادوشمار، پری-LN پلیسمنٹ، بقایا راستوں اور استفسار کی کلید کو ان آزاد ڈیزائن کے انتخاب میں الجھائے بغیر چیک کرتا ہے۔

متعلقہ گائیڈ کے راستےRmsnorm اور پری لیئر نارملائزیشن
سوال 1 کی 8

معیاری LayerNorm کے مقابلے میں RMSNorm کیا چھوڑتا ہے؟

ہر سوال کا جائزہ لیں۔8 سوالات

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

  1. معیاری LayerNorm کے مقابلے میں RMSNorm کیا چھوڑتا ہے؟
    • اوسط گھٹاؤ (دوبارہ مرکز کرنا)
    • سیکھے ہوئے پیمانے کا پیرامیٹر
    • بقایا کنکشن
    • سافٹ میکس آپریشن
  2. RMSNorm ہر ایکٹیویشن ویکٹر کو کس مقدار سے تقسیم کرتا ہے؟
    • اس کا تغیر
    • اس کی جڑ کا مطلب مربع ہے۔
    • اس کی زیادہ سے زیادہ مطلق قدر
    • اس کا L1 معمول
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. پری-LN بلاک میں، نارملائزیشن کی پرت جان بوجھ کر کون سا راستہ چھوڑ دیتی ہے؟
    • فیڈ فارورڈ وزن
    • ٹوکن ایمبیڈنگز
    • آؤٹ پٹ سافٹ میکس
    • بقایا (شناخت) کنکشن
  5. کون سے جدید اوپن ویٹ ماڈل فیملیز RMSNorm کو بطور ڈیفالٹ استعمال کرتے ہیں؟
    • LLaMA، Mistral، اور Qwen
    • الیکس نیٹ اور وی جی جی
    • ResNet اور آغاز
    • BERT-base اور اصل ٹرانسفارمر
  6. RMSNorm کی حالیہ ایپلی کیشن 'QK-norm' کیا ہے؟
    • حتمی آؤٹ پٹ لاگٹس کو معمول بنانا
    • لاگٹ گروتھ کو کنٹرول کرنے کے لیے توجہ طلب سوالات اور کلیدوں پر RMSNorm کا اطلاق کرنا
    • کلیدی قدر کے کیشے کو مقدار دینا
    • معمول کو مکمل طور پر چھوڑنے کا ایک طریقہ
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block