ড্রপআউট এবং স্টোকাস্টিক নিয়মিতকরণ

ড্রপআউট হল একটি নিয়মিতকরণের কৌশল যা প্রতিটি প্রশিক্ষণের সময় এলোমেলোভাবে নিউরনের একটি ভগ্নাংশ বন্ধ করে দেয়, যা নেটওয়ার্ককে অপ্রয়োজনীয়, শক্তিশালী উপস্থাপনা তৈরি করতে বাধ্য করে। গভীর শিক্ষায় ওভারফিটিং-এর বিরুদ্ধে লড়াইয়ের জন্য এটি সবচেয়ে প্রভাবশালী কৌশলগুলির মধ্যে একটি হয়ে উঠেছে।

ড্রপআউট এলোমেলোভাবে প্রশিক্ষণের সময় সম্ভাব্যতা p সহ প্রতিটি নিউরনকে শূন্য করে, তাই প্রতিটি ধাপে একটি ভিন্ন পাতলা সাব-নেটওয়ার্ক ব্যবহার করা হয়।

এলোমেলোভাবে ইউনিটগুলি সরিয়ে ফেলার মাধ্যমে, ড্রপআউট নিউরনগুলিকে ভঙ্গুর অংশীদারিত্ব তৈরি করা থেকে বিরত করে যা শুধুমাত্র প্রশিক্ষণ ডেটাতে কাজ করে, দৃঢ়তা উন্নত করে।

অনুমানে সম্পূর্ণ নেটওয়ার্ক ড্রপআউট অক্ষম সহ চলে, এবং সক্রিয়করণগুলি স্কেল করা হয় তাই প্রত্যাশিত আউটপুট প্রশিক্ষণ বিতরণের সাথে মেলে।

p = 0.5 এর সাথে প্রতিটি নিউরনের শূন্য হওয়ার সম্ভাবনা 50 শতাংশ, তাই প্রতি ফরোয়ার্ড পাসে গড়ে প্রায় অর্ধেক ড্রপ করা হয়।

একটি ভিন্ন সাব-নেটওয়ার্কের নমুনা প্রতিটি ধাপে ভাগ করা-ওজন নেটওয়ার্কগুলির একটি সূচকীয় সংখ্যার গড় আনুমানিক, একটি সস্তা এনসেম্বলিং এর একটি রূপ।