اسٹاکسٹک وزن کا اوسط کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. سٹوکاسٹک وزن کی اوسط اوسط کیا ہے؟
   • ٹریننگ میں دیر سے متعدد پوائنٹس پر نمونے کے نمونے کا وزن
   • کئی الگ الگ تربیت یافتہ ماڈلز کی پیشین گوئیاں
   • تمام منی بیچوں میں مرتب کردہ گریڈینٹ
   • سیکھنے کی شرح جو ہر دور میں استعمال ہوتی ہے۔
2. کیوں SWA عامیت کو بہتر بنانے کا رجحان رکھتا ہے؟
   • یہ تربیت کے سیٹ کو زیادہ واضح طور پر حفظ کرتا ہے۔
   • یہ وسیع تر، چاپلوس منیما تلاش کرتا ہے جو غیر دیکھے ڈیٹا پر زیادہ مضبوط ہوتا ہے۔
   • یہ ماڈل میں پیرامیٹرز کی تعداد کو بڑھاتا ہے۔
   • یہ توثیق کے سیٹ کی ضرورت کو ختم کرتا ہے۔
3. بیچ نارملائزیشن کا استعمال کرنے والے نیٹ ورکس کے لیے SWA کو کون سا اضافی قدم درکار ہے؟
   • شروع سے نیٹ ورک کو دوبارہ تربیت دینا
   • بیچ کا سائز دوگنا کرنا
   • BN چلانے والے اعدادوشمار کی دوبارہ گنتی کے لیے ایک اضافی فارورڈ پاس
   • تمام ڈراپ آؤٹ پرتوں کو ہٹانا
4. SWA اوسط مرحلے کے دوران عام طور پر سیکھنے کی شرح کا کون سا رویہ استعمال ہوتا ہے؟
   • سیکھنے کی شرح بالکل صفر تک گر گئی۔
   • استحکام کے لیے ایک سیکھنے کی شرح
   • تربیت کے منجمد ہونے کے بعد سے سیکھنے کی شرح بالکل بھی نہیں ہے۔
   • ایک مستقل یا چکراتی، نسبتاً زیادہ سیکھنے کی شرح
5. SWA کی تخمینہ لاگت N ماڈلز کے روایتی جوڑ سے کیسے موازنہ کرتی ہے؟
   • اس کی قیمت تقریباً ایک ہی ماڈل ہے، کیونکہ نتیجہ وزن کا ایک سیٹ ہے۔
   • یہ N گنا زیادہ مہنگا ہے۔
   • یہ N ماڈل چلانے کے مترادف ہے۔
   • اس کو قیاس کے لیے استعمال نہیں کیا جا سکتا
6. Why does the batch-normalization adjustment belong after SWA weight averaging?
   • The averaging step deletes every convolution
   • Its running statistics must be recomputed for the averaged weights
   • It converts batch normalization into layer normalization
   • It restores the original optimizer learning rate
7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
   • w_SWA + n · w_i
   • (w_SWA + w_i) divided by n
   • (n · w_SWA + w_i) divided by (n + 1)
   • n · (w_SWA − w_i)
8. Why is SWA commonly started during the later part of training?
   • It requires the model to remain at random initialization
   • It can only average models with different architectures
   • It replaces the training data with validation examples
   • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress