گائیڈ سے منسلک کوئز · درمیانہ سطح
غائب اور پھٹنے والے گریڈیئنٹس کوئز
زنجیر کے اصول کے تدریجی مصنوعات، سنترپتی، بار بار ترتیب کی لمبائی، بقایا راستے اور اسپیکٹرل ریڈیئس ہیورسٹکس کی حدود کو چیک کرتا ہے۔
سوال 1 کی 8
بیک پروپیگیشن میں کون سا ریاضیاتی عمل غائب اور پھٹنے والے میلان کی بنیادی وجہ ہے؟
ہر سوال کا جائزہ لیں۔8 سوالات
جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔
- بیک پروپیگیشن میں کون سا ریاضیاتی عمل غائب اور پھٹنے والے میلان کی بنیادی وجہ ہے؟
- سلسلہ اصول کے ذریعے فی پرت کے عوامل کو بار بار ضرب کرنا
- ایک ہی پرت میں گریڈینٹ شامل کرنا
- نقصان کو بیچ کے سائز سے تقسیم کرنا
- وزن کا مربع جڑ لینا
- Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
- Their derivatives are always larger than one
- Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
- They remove the chain rule from backpropagation
- They force every weight to zero
- کون سا فن تعمیر طویل سلسلے میں تدریجی مسائل سے سب سے زیادہ متاثر ہوتا ہے؟
- ایک دو پرت پرسیپٹران
- ایک واحد لکیری رجعت
- ایک بار بار چلنے والا عصبی نیٹ ورک بہت سے اوقات میں انرول ہوتا ہے۔
- تلاش کی میز
- تربیتی نقصان کو اچانک NaN میں تبدیل ہوتے دیکھنا زیادہ تر ممکنہ طور پر کس مسئلے کی نشاندہی کرتا ہے؟
- غائب ہونے والے میلان
- کامل ہم آہنگی
- سیکھنے کی شرح بہت کم ہے۔
- پھٹنے والے میلان
- بقایا (اسکپ) کنکشن غائب ہونے والے میلان میں کیسے مدد کرتے ہیں؟
- وہ سکڑتی ضربوں کو نظرانداز کرتے ہوئے، میلان کو پیچھے کی طرف براہ راست شارٹ کٹ راستہ دیتے ہیں۔
- وہ تمام غیر خطوط کو ہٹا دیتے ہیں۔
- وہ خود بخود سیکھنے کی شرح میں اضافہ کرتے ہیں۔
- وہ ابتدائی تہوں کو حذف کر دیتے ہیں۔
- In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
- The matrix trace relative to the batch size
- The spectral radius relative to one
- The number of hidden units alone
- The determinant relative to the learning rate
- A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
- It must become exactly one
- It grows exponentially regardless of the factor
- The signal can shrink exponentially with depth
- It stops depending on earlier layers after one step
- Why can a recurrent network be especially vulnerable over a long sequence?
- The network has no hidden state
- The output layer is used only once
- The sequence is processed without a chain rule
- The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect