ড্রপআউট এবং স্টোকাস্টিক নিয়মিতকরণ
ড্রপআউট হল একটি নিয়মিতকরণের কৌশল যা প্রতিটি প্রশিক্ষণের সময় এলোমেলোভাবে নিউরনের একটি ভগ্নাংশ বন্ধ করে দেয়, যা নেটওয়ার্ককে অপ্রয়োজনীয়, শক্তিশালী উপস্থাপনা তৈরি করতে বাধ্য করে।
ওভারভিউ
It became one of the most influential techniques for fighting overfitting in deep learning.
গভীর ডুব
2012 সালের দিকে হিন্টনের গ্রুপ দ্বারা প্রবর্তিত, ড্রপআউট বড় নেটওয়ার্কগুলির একটি প্রধান দুর্বলতাকে সম্বোধন করে: নিউরনগুলি সহ-অভিযোজিত হতে পারে, এমনভাবে একে অপরের ভুলগুলি ঠিক করতে শিখতে পারে যা শুধুমাত্র প্রশিক্ষণের ডেটাতে কাজ করে। প্রশিক্ষণের সময় প্রতিটি ফরোয়ার্ড পাসে, ড্রপআউট এলোমেলোভাবে প্রতিটি নিউরনের আউটপুটকে কিছু সম্ভাব্যতা p (প্রায়ই ঘন স্তরে 0.5) সহ শূন্যে সেট করে। যেহেতু যেকোনো নিউরন অদৃশ্য হয়ে যেতে পারে, নেটওয়ার্কটি ভঙ্গুর অংশীদারিত্বের উপর নির্ভর করতে পারে না এবং অনেক ইউনিট জুড়ে দরকারী তথ্য ছড়িয়ে দিতে হবে। এটি ওজন ভাগ করে এমন পাতলা নেটওয়ার্কগুলির একটি বিশাল দলকে প্রশিক্ষণ দেওয়ার মতো কাজ করে। পরীক্ষার সময় ড্রপআউট বন্ধ করা হয় এবং সম্পূর্ণ নেটওয়ার্ক ব্যবহার করা হয়, সক্রিয়করণ স্কেল করা হয় যাতে প্রত্যাশিত আউটপুট প্রশিক্ষণের সাথে মিলে যায়। ফলাফলটি সাধারণত কিছুটা দীর্ঘ প্রশিক্ষণের খরচে আরও ভাল সাধারণীকরণ হয়।
প্রযুক্তিগত অন্তর্দৃষ্টি
প্রশিক্ষণের সময় প্রতিটি ইউনিটকে একটি এলোমেলো বাইনারি মাস্কের মাধ্যমে সম্ভাব্যতা (1 বিয়োগ p) সহ রাখা হয়, তাই প্রতিটি ব্যাচে বিভিন্ন সাব-নেটওয়ার্কের নমুনা নেওয়া হয়। আধুনিক ফ্রেমওয়ার্ক ইনভার্টেড ড্রপআউট ব্যবহার করে: টিকে থাকা অ্যাক্টিভেশনগুলিকে ট্রেনের সময় (1 বিয়োগ p) দ্বারা ভাগ করা হয়, তাই অনুমানে কোনও স্কেলিং প্রয়োজন হয় না। এই এলোমেলোতা গোলমালকে ইনজেক্ট করে যা সহ-অভিযোজনকে নিরুৎসাহিত করে এবং ভাগ করা-ওজন সাব-নেটওয়ার্কগুলির একটি সূচকীয় সংখ্যার উপর আনুমানিক গড়কে নিরুৎসাহিত করে, যা একত্রিত করার একটি সস্তা রূপ।
কৌশলগত প্রভাব
সুস্পষ্ট সিদ্ধান্ত
এটি আপনাকে বিপণনের ভাষা থেকে স্পষ্ট প্রযুক্তিগত দাবিগুলি আলাদা করতে সহায়তা করে।
খরচ ও বাজেট
অর্থ বা সময় ব্যয় করার আগে আপনি আরও ভাল বাস্তবায়ন প্রশ্ন জিজ্ঞাসা করতে পারেন।
টিম এবং ওয়ার্কফ্লো
ভাগ করা বোঝাপড়া সহ দলগুলি আরও ভাল পণ্য, নীতি এবং শেখার সিদ্ধান্ত নেয়।
ড্রপআউট এবং স্টোকাস্টিক নিয়মিতকরণের ভবিষ্যত
কনভোলিউশনাল ভিশন নেটওয়ার্কে, ব্যাচের স্বাভাবিকীকরণ বহুলাংশে স্ট্যান্ডার্ড ড্রপআউটকে স্থানচ্যুত করেছে, কিন্তু বৈকল্পিকগুলি অন্যত্র উন্নতি লাভ করে: ট্রান্সফরমারগুলি মনোযোগ এবং ফিড-ফরোয়ার্ড স্তরগুলিতে ড্রপআউট প্রয়োগ করে এবং ড্রপপাথ (স্টোকাস্টিক গভীরতা) সম্পূর্ণ অবশিষ্ট ব্লকগুলিকে ড্রপ করে। মন্টে কার্লো ড্রপআউট, যা অনুমানে ড্রপআউট সক্রিয় রাখে, মডেল অনিশ্চয়তা অনুমান করতে ব্যবহৃত হয়। স্টোকাস্টিক রেগুলারাইজেশন একটি নমনীয় টুলকিট থাকবে বলে আশা করুন, একটি নির্দিষ্ট রেসিপির পরিবর্তে আর্কিটেকচার অনুযায়ী অভিযোজিত।
বাস্তব-বিশ্ব বাস্তবায়ন
PyTorch বা Keras-এ একটি ইমেজ বা টেক্সট ক্লাসিফায়ারের ঘন স্তরগুলির মধ্যে p প্রায় 0.5 সহ একটি ড্রপআউট স্তর যোগ করা
ট্রান্সফরমার মডেলগুলি মনোযোগের ওজনে ড্রপআউট প্রয়োগ করে এবং প্রি-ট্রেনিং এর সময় ফিড-ফরোয়ার্ড অ্যাক্টিভেশন
মন্টে কার্লো ড্রপআউট, যেখানে চিকিৎসা বা নিরাপত্তা-সমালোচনামূলক পূর্বাভাসের জন্য অনিশ্চয়তা অনুমান তৈরি করতে অনুমানে ড্রপআউট থাকে
রেসনেট এবং ভিশন ট্রান্সফরমারের মতো খুব গভীর নেটওয়ার্কগুলিকে নিয়মিত করতে স্টকাস্টিক গভীরতা (ড্রপপথ) এলোমেলোভাবে অবশিষ্ট ব্লকগুলি এড়িয়ে যায়
ঝুঁকি এবং প্রহরী
বিভিন্ন দল একই শব্দটি ভিন্নভাবে ব্যবহার করতে পারে, তাই সুযোগটি আগে থেকেই নির্ধারণ করুন।
বেঞ্চমার্কগুলি শক্তিশালী দেখাতে পারে যখন বাস্তব-বিশ্বের কর্মক্ষমতা অসম হয়।
ডেটা গুণমান এবং মূল্যায়ন পরিকল্পনা উপেক্ষা করা প্রায়ই ভঙ্গুর ফলাফল তৈরি করে।
বাস্তবায়ন রোডম্যাপ
আপনার প্রয়োজনীয় ফলাফলের একটি সরল-ভাষা সংজ্ঞা দিয়ে শুরু করুন।
পরীক্ষার আগে একটি সাফল্যের মেট্রিক এবং একটি ব্যর্থতার শর্ত বাছুন।
একটি পালিশ ডেমো সেট নয়, প্রতিনিধি ডেটা সহ একটি ছোট পাইলট চালান৷
ডকুমেন্ট যেখানে ড্রপআউট এবং স্টোকাস্টিক রেগুলারাইজেশন সাহায্য করে এবং যেখানে সহজ পদ্ধতিগুলি ভাল।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dropout and Stochastic Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
মোমেন্টাম সহ স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Dropout and Stochastic Regularization?
ড্রপআউট হল একটি নিয়মিতকরণের কৌশল যা প্রতিটি প্রশিক্ষণের সময় এলোমেলোভাবে নিউরনের একটি ভগ্নাংশ বন্ধ করে দেয়, যা নেটওয়ার্ককে অপ্রয়োজনীয়, শক্তিশালী উপস্থাপনা তৈরি করতে বাধ্য করে। গভীর শিক্ষায় ওভারফিটিং-এর বিরুদ্ধে লড়াইয়ের জন্য এটি সবচেয়ে প্রভাবশালী কৌশলগুলির মধ্যে একটি হয়ে উঠেছে।
প্রশিক্ষণের সময় ড্রপআউট কি করে?
ড্রপআউট এলোমেলোভাবে প্রশিক্ষণের সময় সম্ভাব্যতা p সহ প্রতিটি নিউরনকে শূন্য করে, তাই প্রতিটি ধাপে একটি ভিন্ন পাতলা সাব-নেটওয়ার্ক ব্যবহার করা হয়।
কেন ড্রপআউট সাধারণীকরণ উন্নত করে?
এলোমেলোভাবে ইউনিটগুলি সরিয়ে ফেলার মাধ্যমে, ড্রপআউট নিউরনগুলিকে ভঙ্গুর অংশীদারিত্ব তৈরি করা থেকে বিরত করে যা শুধুমাত্র প্রশিক্ষণ ডেটাতে কাজ করে, দৃঢ়তা উন্নত করে।
পরীক্ষার (অনুমান) সময়ে ড্রপআউট হলে কী হবে?
অনুমানে সম্পূর্ণ নেটওয়ার্ক ড্রপআউট অক্ষম সহ চলে, এবং সক্রিয়করণগুলি স্কেল করা হয় তাই প্রত্যাশিত আউটপুট প্রশিক্ষণ বিতরণের সাথে মেলে।
একটি স্তরে p = 0.5 এর ড্রপআউট হার প্রশিক্ষণের সময় মোটামুটিভাবে কী বোঝায়?
p = 0.5 এর সাথে প্রতিটি নিউরনের শূন্য হওয়ার সম্ভাবনা 50 শতাংশ, তাই প্রতি ফরোয়ার্ড পাসে গড়ে প্রায় অর্ধেক ড্রপ করা হয়।
ড্রপআউট প্রায়ই আনুমানিক হিসাবে বর্ণনা করা হয় কি?
একটি ভিন্ন সাব-নেটওয়ার্কের নমুনা প্রতিটি ধাপে ভাগ করা-ওজন নেটওয়ার্কগুলির একটি সূচকীয় সংখ্যার গড় আনুমানিক, একটি সস্তা এনসেম্বলিং এর একটি রূপ।