نفاست سے آگاہ مائنسائزیشن کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. SAM کس قسم کی کم از کم تلاش کرنے کی کوشش کرتا ہے؟
   • فلیٹ کم از کم جہاں وزن کے پڑوس میں نقصان کم رہتا ہے۔
   • تیز ترین ممکنہ کم از کم
   • سب سے زیادہ پیرامیٹرز کے ساتھ کم از کم
   • ایک قدم میں کوئی بھی کم سے کم قابل رسائی
2. ایک معیاری SAM قدم کے لیے کتنے فارورڈ پاسز کی ضرورت ہوتی ہے؟
   • آدھا پاس
   • تقریباً دو
   • بالکل ایک
   • دس یا زیادہ
3. SAM میں رداس ہائپر پیرامیٹر rho کیا کنٹرول کرتا ہے؟
   • سیکھنے کی شرح میں کمی کی رفتار
   • تربیتی دوروں کی تعداد
   • وزن کے آس پاس کے محلے کا سائز جو نقصان کے بڑھنے سے محفوظ ہے۔
   • ڈراپ آؤٹ کا امکان
4. ہر تکرار پر SAM کے دو مراحل میں سے پہلا کیا ہے؟
   • ماڈل کو چھوٹا کریں۔
   • تمام پچھلے مراحل کا اوسط وزن
   • اصلاح کنندہ حالت کو دوبارہ ترتیب دیں۔
   • انتہائی خراب حالت کے قریبی نقطہ کی طرف rho سائز کا ایک چڑھنے والا قدم اٹھائیں۔
5. SAM اکثر شور کو لیبل کرنے کے لیے مضبوطی کو کیوں بہتر بناتا ہے؟
   • کیونکہ فلیٹ منیما خراب شدہ لیبلز کو یاد کرنے کا کم شکار ہیں۔
   • کیونکہ یہ شور والے لیبلز کو خود بخود حذف کر دیتا ہے۔
   • کیونکہ اس میں بڑی ذخیرہ الفاظ استعمال کی گئی ہیں۔
   • کیونکہ یہ بیچ کے سائز کو تین گنا کر دیتا ہے۔
6. SAM کی کمپیوٹ لاگت کو کم کرنے کے لیے ان میں سے کون سا ویرینٹ ڈیزائن کیا گیا ہے؟
   • ReLU
   • ESAM (موثر SAM)
   • بیچ نارم
   • اڈا گراڈ
7. In SAM’s second pass, which gradient is used to update the original model weights?
   • The gradient of a random label
   • The first pass gradient without evaluating the perturbed point
   • The gradient evaluated at the perturbed nearby weights
   • A gradient from a different model checkpoint
8. If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
   • The model parameters are all set to zero
   • The loss becomes independent of the weights
   • The optimizer takes an infinite step
   • There is no weight perturbation, so the neighborhood reduces to the current point