پرت نارملائزیشن کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. پرت نارملائزیشن اس کے وسط اور تغیر کو کس چیز میں شمار کرتی ہے؟
   • ایک ہی مثال کی خصوصیات میں
   • منی بیچ میں تمام مثالوں میں
   • نیٹ ورک میں تمام وزنوں میں
   • متعدد تربیتی دوروں میں
2. ٹرانسفارمرز میں پرت نارملائزیشن کو بیچ نارملائزیشن پر کیوں ترجیح دی جاتی ہے؟
   • یہ ایک بہت بڑے بیچ سائز کی ضرورت ہے
   • یہ بیچ کے سائز سے آزاد ہے اور متغیر لمبائی کی ترتیب کو ہینڈل کرتا ہے۔
   • یہ سیکھنے کے قابل پیرامیٹرز کی ضرورت کو ختم کرتا ہے۔
   • یہ صرف قیاس کے دوران کام کرتا ہے۔
3. سیکھنے کے قابل پیرامیٹرز گاما اور بیٹا LayerNorm کو کیا کرنے دیتے ہیں؟
   • سیکھنے کی شرح کا انتخاب کریں۔
   • تہوں کی تعداد مقرر کریں۔
   • ری اسکیل کریں اور نارملائزڈ آؤٹ پٹ کو شفٹ کریں تاکہ نیٹ ورک مفید نمائندگی کو بحال کر سکے۔
   • ایکٹیویشن فنکشن کی ضرورت کو ہٹا دیں۔
4. RMSNorm معیاری LayerNorm سے کیسے مختلف ہے؟
   • اس کے بجائے یہ پورے بیچ میں نارمل ہوجاتا ہے۔
   • اس میں کوئی پیرامیٹرز اور کوئی تقسیم نہیں ہے۔
   • یہ صرف تصاویر پر کام کرتا ہے۔
   • یہ مطلب گھٹاؤ کو چھوڑتا ہے اور صرف جڑ کے درمیانی مربع سے تقسیم ہوتا ہے۔
5. تہہ کو نارملائزیشن بنیادی طور پر گہرے نیٹ ورکس میں حل کرنے میں کون سا مسئلہ ہے؟
   • ایکٹیویشنز بہت مختلف پیمانے پر بہتی ہیں، جو تربیت کو غیر مستحکم کرتی ہیں۔
   • ڈسک کی جگہ ختم ہو رہی ہے۔
   • صحیح ڈیٹا سیٹ کا انتخاب
   • ماڈل کے وزن کو خفیہ کرنا
6. 'پری نارم' پلیسمنٹ اکثر بہت گہرے ٹرانسفارمرز میں کیوں استعمال ہوتی ہے؟
   • یہ ماڈل کو چھوٹا بناتا ہے۔
   • ہر ذیلی تہہ سے پہلے نارمل کرنا گہرے ڈھیروں کو تربیت دینے میں آسان اور زیادہ مستحکم بناتا ہے۔
   • یہ توجہ کے طریقہ کار کو ہٹاتا ہے۔
   • یہ سیکھنے کی شرح کو خود بخود دوگنا کر دیتا ہے۔
7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
   • To make the batch size larger
   • To replace the learnable scale
   • To avoid division by zero and improve numerical stability
   • To compute the sequence length
8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
   • It restores the original unnormalized inputs exactly
   • It applies a softmax over features
   • It changes the statistics to be batch-dependent
   • It leaves the normalized values unchanged after the mean-and-variance scaling