ব্যাচ স্বাভাবিককরণ

ব্যাচ নর্মালাইজেশন এমন একটি কৌশল যা প্রশিক্ষণের সময় একটি নিউরাল নেটওয়ার্কের প্রতিটি স্তরে ইনপুটগুলিকে পুনরায় স্কেল করে, যার ফলে গভীর নেটওয়ার্কগুলিকে দ্রুত এবং আরও নির্ভরযোগ্যভাবে প্রশিক্ষণ দেওয়া হয়। এটি গভীর শিক্ষায় সর্বাধিক ব্যবহৃত কৌশলগুলির মধ্যে একটি হয়ে উঠেছে।

ব্যাচের আদর্শ বর্তমান মিনি-ব্যাচ জুড়ে গণনা করা গড় এবং প্রকরণ ব্যবহার করে একটি স্তরের ইনপুটগুলিকে প্রমিত করে, প্রশিক্ষণের অগ্রগতির সাথে সাথে সক্রিয়করণগুলিকে একটি স্থিতিশীল পরিসরে রেখে।

শূন্য গড় এবং একক বৈচিত্র স্বাভাবিক করার পরে, গামা এবং বিটা নেটওয়ার্ককে পুনঃস্কেল করতে দেয় এবং যদি এটি উপকারী হয় তবে মানগুলি পুনরায় স্থানান্তর করতে দেয়, তাই স্বাভাবিককরণ স্তরটি কী উপস্থাপন করতে পারে তা সীমাবদ্ধ করে না।

লেয়ার ইনপুটগুলিকে ভাল-স্কেল করে রেখে, ব্যাচের আদর্শ নেটওয়ার্কগুলিকে বৃহত্তর শেখার হারের সাথে প্রশিক্ষণ দেয়, দ্রুত একত্রিত হয় এবং আরম্ভের প্রতি কম সংবেদনশীল হতে দেয়।

অনুমানে লাইভ ব্যাচের পরিসংখ্যান ব্যবহার করে একটি ভবিষ্যদ্বাণী করা হবে অন্য কোন উদাহরণগুলি ব্যাচ ভাগ করে তার উপর নির্ভর করে। পরিবর্তে, ব্যাচের আদর্শ প্রশিক্ষণের সময় সঞ্চিত স্থায়ী চলমান গড় ব্যবহার করে।

ব্যাচের আদর্শ ব্যাচ থেকে গড় এবং তারতম্য অনুমান করার উপর নির্ভর করে। খুব কম উদাহরণ সহ, সেই অনুমানগুলি গোলমালপূর্ণ, যা প্রশিক্ষণকে অস্থিতিশীল করতে পারে।