অ্যাডাম এবং অ্যাডাপটিভ অপ্টিমাইজার কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. প্রতিটি প্যারামিটারের জন্য অ্যাডাম কত দুটি পরিমাণ ট্র্যাক করে?
   • গ্রেডিয়েন্ট এবং বর্গ গ্রেডিয়েন্টের চলমান গড়
   • সর্বাধিক এবং সর্বনিম্ন গ্রেডিয়েন্ট দেখা গেছে৷
   • শেখার হার এবং ব্যাচের আকার
   • ওজন মান এবং এর চিহ্ন
2. কেন অ্যাডাম তার মুহূর্ত অনুমানে পক্ষপাত সংশোধন প্রয়োগ করেন?
   • কারণ প্রশিক্ষণের প্রথম দিকে গ্রেডিয়েন্ট সবসময় নেতিবাচক হয়
   • কারণ চলমান গড় শূন্য থেকে শুরু হয় এবং প্রাথমিকভাবে শূন্যের দিকে পক্ষপাতদুষ্ট
   • সময়ের সাথে সাথে শেখার হার আরও বড় করতে
   • ব্যাচ থেকে আউটলিয়ার ডেটা পয়েন্টগুলি সরাতে
3. আদম এবং AdamW মধ্যে প্রধান পার্থক্য কি?
   • AdamW মোটেই কোনো গতি ব্যবহার করে না
   • AdamW দ্বিতীয় মুহূর্ত অনুমান সরান
   • AdamW গ্রেডিয়েন্ট-ভিত্তিক আপডেট থেকে ওজন ক্ষয়কে ডিকপল করে
   • AdamW শুধুমাত্র convolutional নেটওয়ার্কে কাজ করে
4. অ্যাডামের আপডেট নিয়মে ছোট এপিসিলন শব্দটি কী ভূমিকা পালন করে?
   • এটি ভরবেগের শক্তি সেট করে
   • এটি প্রশিক্ষণ যুগের সংখ্যা নিয়ন্ত্রণ করে
   • এটি গ্রেডিয়েন্টের মাত্রা বাড়ায়
   • এটি শূন্য দ্বারা বিভাজন প্রতিরোধ করে এবং আপডেটকে স্থিতিশীল করে
5. কেন অ্যাডামকে প্রায়ই 'অভিযোজিত' হিসাবে বর্ণনা করা হয়?
   • এটি কার্যকরভাবে প্রতিটি প্যারামিটারকে তার নিজস্ব স্কেল করা ধাপের আকার দেয়
   • এটি প্রশিক্ষণের সময় নেটওয়ার্ক আর্কিটেকচার পরিবর্তন করে
   • এটি মডেলের সাথে ডেটাসেটকে অভিযোজিত করে
   • এটি স্বয়ংক্রিয়ভাবে শ্রেণীবিভাগ এবং রিগ্রেশনের মধ্যে সুইচ করে
6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
   • Beta1
   • Beta2
   • Epsilon
   • The weight-decay coefficient
7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
   • The number of model layers
   • The batch-normalization mean
   • The second-moment estimate of squared gradients
   • The AdamW weight-decay term alone
8. What happens when beta2 is set closer to one, all else equal?
   • The optimizer stops using gradients
   • The first-moment estimate is deleted
   • Weight decay becomes decoupled automatically
   • The squared-gradient estimate decays more slowly and retains a longer history