ভ্যানিশিং এবং এক্সপ্লোডিং গ্রেডিয়েন্ট কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. ব্যাকপ্রোপাগেশনে কোন গাণিতিক ক্রিয়াকলাপটি অদৃশ্য এবং বিস্ফোরিত গ্রেডিয়েন্টের মূল কারণ?
   • চেইন নিয়মের মাধ্যমে বারবার প্রতি-স্তর ফ্যাক্টরগুলিকে গুণ করা হচ্ছে
   • একটি একক স্তর জুড়ে গ্রেডিয়েন্ট যোগ করা
   • ব্যাচ আকার দ্বারা ক্ষতি বিভাজন
   • ওজনের বর্গমূল নিচ্ছে
2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
   • Their derivatives are always larger than one
   • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
   • They remove the chain rule from backpropagation
   • They force every weight to zero
3. কোন স্থাপত্য দীর্ঘ ক্রম ধরে গ্রেডিয়েন্ট সমস্যা দ্বারা সবচেয়ে গুরুতরভাবে প্রভাবিত হয়?
   • একটি দ্বি-স্তর পারসেপ্টরন
   • একটি একক রৈখিক রিগ্রেশন
   • একটি পুনরাবৃত্ত নিউরাল নেটওয়ার্ক অনেক টাইমস্টেপে আনরোল করা হয়
   • একটি সন্ধান টেবিল
4. প্রশিক্ষণের ক্ষতি হঠাৎ NaN-এ পরিণত হওয়া দেখে সম্ভবত কোন সমস্যাটি নির্দেশ করে?
   • অদৃশ্য গ্রেডিয়েন্ট
   • পারফেক্ট কনভারজেন্স
   • শেখার হার খুবই ছোট
   • বিস্ফোরণ গ্রেডিয়েন্ট
5. কিভাবে অবশিষ্ট (এড়িয়ে যাওয়া) সংযোগগুলি অদৃশ্য গ্রেডিয়েন্টে সাহায্য করে?
   • তারা সঙ্কুচিত গুণগুলিকে বাইপাস করে গ্রেডিয়েন্টটিকে পিছনের দিকে একটি সরাসরি শর্টকাট পথ দেয়
   • তারা সমস্ত অরৈখিকতা সরিয়ে দেয়
   • তারা স্বয়ংক্রিয়ভাবে শেখার হার বৃদ্ধি করে
   • তারা প্রাথমিক স্তরগুলি মুছে ফেলে
6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
   • The matrix trace relative to the batch size
   • The spectral radius relative to one
   • The number of hidden units alone
   • The determinant relative to the learning rate
7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
   • It must become exactly one
   • It grows exponentially regardless of the factor
   • The signal can shrink exponentially with depth
   • It stops depending on earlier layers after one step
8. Why can a recurrent network be especially vulnerable over a long sequence?
   • The network has no hidden state
   • The output layer is used only once
   • The sequence is processed without a chain rule
   • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect