স্টোকাস্টিক ওজন গড়

স্টোকাস্টিক ওয়েট এভারেজিং (SWA) শুধুমাত্র চূড়ান্ত স্ন্যাপশট রাখার পরিবর্তে প্রশিক্ষণে দেরীতে বেশ কয়েকটি পয়েন্ট থেকে মডেলের ওজনের একটি সাধারণ গড় নেয়। এই সস্তা কৌশলটি প্রায়শই মডেলটিকে একটি চাটুকার, ক্ষতিকারক ল্যান্ডস্কেপের বিস্তৃত অঞ্চলে অবতরণ করে, যা অদেখা ডেটাতে লক্ষণীয়ভাবে ভাল সাধারণীকরণ করে।

SWA প্রশিক্ষণের চূড়ান্ত পর্বে বিভিন্ন চেকপয়েন্টে সংগ্রহ করা মডেল প্যারামিটার (ওজন) গড় করে, ভবিষ্যদ্বাণী বা গ্রেডিয়েন্ট নয়।

গড় দ্রবণটিকে ক্ষতির পৃষ্ঠের সমতল অঞ্চলের কেন্দ্রের দিকে নিয়ে যায় এবং ফ্ল্যাট মিনিমা আরও ভাল সাধারণীকরণ করে কারণ ট্রেন এবং পরীক্ষার ক্ষতি সারিবদ্ধ থাকে।

যেহেতু BN পরিসংখ্যান নির্দিষ্ট ওজনের উপর নির্ভর করে, গড় মডেলের চলমান উপায় এবং বৈচিত্রগুলি পুনরায় গণনা করার জন্য ডেটার উপর একটি অতিরিক্ত পাস প্রয়োজন।

SWA একটি মাঝারিভাবে উচ্চ ধ্রুবক বা চক্রাকার শিক্ষার হার রাখে তাই SGD বিস্তৃত সমতল অঞ্চলের অন্বেষণ চালিয়ে যায় যার পয়েন্ট তখন গড় করা হয়।

SWA অনেক চেকপয়েন্টকে একটি গড় ওজনের সেটে ভেঙে দেয়, তাই অনুমানের দাম N-এর পরিবর্তে একক মডেলের সমান।