وزن میں کمی اور L2 ریگولرائزیشن

وزن میں کمی ایک سادہ، طاقتور تکنیک ہے جو ٹریننگ کے دوران ماڈل کے وزن کو صفر کی طرف دھکیل دیتی ہے، اور اسے کسی ایک خصوصیت پر بہت زیادہ انحصار کرنے سے روکتی ہے۔ یہ اوور فٹنگ کو کم کرتا ہے اور گہری تعلیم میں سب سے زیادہ استعمال ہونے والے ریگولرائزرز میں سے ایک ہے۔

L2 ریگولرائزیشن مربع وزن کے مجموعے میں لیمبڈا گنا اضافہ کرتی ہے، بڑے وزن کو جرمانہ اور چھوٹے، ہموار حل کی حوصلہ افزائی کرتی ہے۔

وزن کو چھوٹا رکھنے سے، وزن میں کمی ماڈل کو شور مچانے سے حوصلہ شکنی کرتی ہے، نئے ڈیٹا کو عام کرنے میں بہتری لاتی ہے۔

وزن میں کمی ہر اپ ڈیٹ پر وزن کو گھٹا کر صفر کی طرف لے جاتی ہے، یہی وجہ ہے کہ اسے بعض اوقات وزن کے 'سڑنے' کے طور پر بیان کیا جاتا ہے۔

ایڈم میں، L2 کو نقصان میں ڈالنا فی پیرامیٹر اسکیلنگ کے ساتھ بری طرح سے تعامل کرتا ہے۔ ایڈم ڈبلیو مطلوبہ یکساں سکڑنے کو بحال کرنے کے لیے الگ سے کشی کا اطلاق کرتا ہے۔

سادہ SGD کے ساتھ، نقصان میں L2 جرمانہ شامل کرنے سے وہی تازہ کاری ہوتی ہے جو براہ راست سکڑتے ہوئے وزن کے ہوتے ہیں، اس لیے دونوں برابر ہیں۔