স্টোকাস্টিক ওজন গড় ক্যুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. স্টোকাস্টিক ওজন গড় আসলে গড় কি?
   • প্রশিক্ষণের দেরিতে মডেলের ওজন একাধিক পয়েন্টে নমুনা করা হয়েছে
   • বেশ কয়েকটি পৃথকভাবে প্রশিক্ষিত মডেলের ভবিষ্যদ্বাণী
   • গ্রেডিয়েন্টগুলি সমস্ত মিনি-ব্যাচ জুড়ে গণনা করা হয়েছে৷
   • প্রতিটি যুগে ব্যবহৃত শেখার হার
2. কেন SWA সাধারণীকরণ উন্নত করতে ঝোঁক?
   • এটি প্রশিক্ষণের সেটটি আরও সুনির্দিষ্টভাবে মুখস্থ করে
   • এটি আরও বিস্তৃত, চাটুকার মিনিমা খুঁজে পায় যা অদেখা ডেটাতে আরও শক্তিশালী
   • এটি মডেলের প্যারামিটারের সংখ্যা বাড়ায়
   • এটি একটি বৈধতা সেটের প্রয়োজনীয়তা দূর করে
3. ব্যাচ স্বাভাবিকীকরণ ব্যবহার করে এমন নেটওয়ার্কগুলির জন্য SWA-এর কোন অতিরিক্ত পদক্ষেপ প্রয়োজন?
   • স্ক্র্যাচ থেকে নেটওয়ার্ক পুনরায় প্রশিক্ষণ
   • ব্যাচের আকার দ্বিগুণ করা
   • BN চলমান পরিসংখ্যান পুনরায় গণনা করার জন্য একটি অতিরিক্ত ফরোয়ার্ড পাস
   • সমস্ত ড্রপআউট স্তরগুলি সরানো হচ্ছে৷
4. SWA গড় পর্যায়ে সাধারণত কোন শিক্ষার হার ব্যবহার করা হয়?
   • একটি শেখার হার ঠিক শূন্য ক্ষয়প্রাপ্ত
   • স্থিতিশীলতার জন্য একটি শেখার হার
   • প্রশিক্ষণ হিমায়িত হওয়ার পর থেকে কোনো শিক্ষার হার নেই
   • একটি ধ্রুবক বা চক্রাকার, তুলনামূলকভাবে উচ্চ শিক্ষার হার
5. কিভাবে SWA এর অনুমান খরচ N মডেলের একটি ঐতিহ্যবাহী ensemble এর সাথে তুলনা করে?
   • এটির দাম মোটামুটি একটি একক মডেল, যেহেতু ফলাফলটি ওজনের একটি সেট
   • এটি N গুণ বেশি ব্যয়বহুল
   • এটি N মডেল চালানোর অনুরূপ
   • এটা অনুমান জন্য ব্যবহার করা যাবে না
6. Why does the batch-normalization adjustment belong after SWA weight averaging?
   • The averaging step deletes every convolution
   • Its running statistics must be recomputed for the averaged weights
   • It converts batch normalization into layer normalization
   • It restores the original optimizer learning rate
7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
   • w_SWA + n · w_i
   • (w_SWA + w_i) divided by n
   • (n · w_SWA + w_i) divided by (n + 1)
   • n · (w_SWA − w_i)
8. Why is SWA commonly started during the later part of training?
   • It requires the model to remain at random initialization
   • It can only average models with different architectures
   • It replaces the training data with validation examples
   • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress