ایڈم اور اڈاپٹیو آپٹیمائزرز کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. آدم ہر پیرامیٹر کے لیے کن دو مقداروں کو ٹریک کرتا ہے؟
   • میلان اور مربع میلان کی چلتی اوسط
   • اب تک دیکھا گیا زیادہ سے زیادہ اور کم سے کم گریڈینٹ
   • سیکھنے کی شرح اور بیچ کا سائز
   • وزن کی قیمت اور اس کی نشانی۔
2. آدم اپنے لمحات کے تخمینے پر تعصب کی اصلاح کیوں کرتا ہے؟
   • کیونکہ میلان ہمیشہ تربیت کے اوائل میں منفی ہوتے ہیں۔
   • کیونکہ متحرک اوسط صفر سے شروع ہوتی ہے اور ابتدائی طور پر صفر کی طرف متعصب ہوتی ہے۔
   • وقت کے ساتھ سیکھنے کی شرح کو بڑا بنانے کے لیے
   • بیچ سے آؤٹ لیئر ڈیٹا پوائنٹس کو ہٹانے کے لیے
3. آدم اور آدم ڈبلیو کے درمیان بنیادی فرق کیا ہے؟
   • ایڈم ڈبلیو کسی بھی رفتار کا استعمال نہیں کرتا ہے۔
   • ایڈم ڈبلیو دوسرے لمحے کا تخمینہ ہٹاتا ہے۔
   • ایڈم ڈبلیو گریڈینٹ پر مبنی اپڈیٹ سے وزن میں کمی کو ڈیکپل کرتا ہے۔
   • AdamW صرف convolutional نیٹ ورکس پر کام کرتا ہے۔
4. ایڈم کی تازہ کاری کے اصول میں چھوٹی ایپیلون اصطلاح کیا کردار ادا کرتی ہے؟
   • یہ رفتار کی طاقت کا تعین کرتا ہے۔
   • یہ تربیتی دوروں کی تعداد کو کنٹرول کرتا ہے۔
   • یہ میلان کی شدت کو بڑھاتا ہے۔
   • یہ صفر سے تقسیم کو روکتا ہے اور اپ ڈیٹ کو مستحکم کرتا ہے۔
5. آدم کو اکثر 'موافق' کیوں کہا جاتا ہے؟
   • یہ مؤثر طریقے سے ہر پیرامیٹر کو اس کا اپنا سکیلڈ سٹیپ سائز دیتا ہے۔
   • یہ تربیت کے دوران نیٹ ورک کے فن تعمیر کو تبدیل کرتا ہے۔
   • یہ ڈیٹاسیٹ کو ماڈل کے مطابق ڈھال لیتا ہے۔
   • یہ درجہ بندی اور رجعت کے درمیان خود بخود بدل جاتا ہے۔
6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
   • Beta1
   • Beta2
   • Epsilon
   • The weight-decay coefficient
7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
   • The number of model layers
   • The batch-normalization mean
   • The second-moment estimate of squared gradients
   • The AdamW weight-decay term alone
8. What happens when beta2 is set closer to one, all else equal?
   • The optimizer stops using gradients
   • The first-moment estimate is deleted
   • Weight decay becomes decoupled automatically
   • The squared-gradient estimate decays more slowly and retains a longer history