ڈراپ آؤٹ اور اسٹاکسٹک ریگولرائزیشن

ڈراپ آؤٹ ایک ریگولرائزیشن کی چال ہے جو ہر تربیتی مرحلے کے دوران تصادفی طور پر نیوران کے ایک حصے کو بند کر دیتی ہے، جس سے نیٹ ورک کو بے کار، مضبوط نمائندگیوں کی تعمیر پر مجبور کیا جاتا ہے۔ یہ گہری سیکھنے میں اوور فٹنگ سے لڑنے کے لئے سب سے زیادہ بااثر تکنیکوں میں سے ایک بن گئی۔

تربیت کے دوران ڈراپ آؤٹ تصادفی طور پر ہر نیوران کو امکانی p کے ساتھ صفر کر دیتا ہے، لہذا ہر قدم پر ایک مختلف پتلا ذیلی نیٹ ورک استعمال کیا جاتا ہے۔

اکائیوں کو تصادفی طور پر ہٹانے سے، ڈراپ آؤٹ نیورونز کو کمزور شراکت داری بنانے سے روکتا ہے جو صرف تربیتی ڈیٹا پر کام کرتے ہیں، مضبوطی کو بہتر بناتے ہیں۔

اندازہ کے مطابق پورا نیٹ ورک ڈراپ آؤٹ ڈس ایبل کے ساتھ چلتا ہے، اور ایکٹیویشنز کو چھوٹا کیا جاتا ہے تاکہ متوقع آؤٹ پٹ ٹریننگ کی تقسیم سے مماثل ہوں۔

p = 0.5 کے ساتھ ہر نیوران کے صفر ہونے کا 50 فیصد امکان ہوتا ہے، اس لیے اوسطاً نصف فی فارورڈ پاس چھوڑ دیا جاتا ہے۔

ایک مختلف ذیلی نیٹ ورک کا نمونہ لینے کا ہر قدم مشترکہ وزن والے نیٹ ورکس کی ایک کفایتی تعداد کے اوسط کے حساب سے ہوتا ہے، جو کہ سستے جوڑ کی ایک شکل ہے۔