स्टोकेस्टिक वज़न औसत

स्टोकेस्टिक वेट एवरेजिंग (एसडब्ल्यूए) केवल अंतिम स्नैपशॉट रखने के बजाय प्रशिक्षण में कई बिंदुओं से मॉडल के वजन का एक साधारण औसत लेता है। यह सस्ती चाल अक्सर मॉडल को हानि परिदृश्य के एक सपाट, व्यापक क्षेत्र में ले जाती है, जो अनदेखी डेटा पर बेहतर ढंग से सामान्यीकरण करती है।

एसडब्ल्यूए प्रशिक्षण के अंतिम चरण के दौरान कई चौकियों पर एकत्र किए गए मॉडल मापदंडों (वजन) का औसत निकालता है, न कि पूर्वानुमानों या ग्रेडिएंट्स का।

औसत समाधान को नुकसान की सतह के समतल क्षेत्र के केंद्र की ओर ले जाता है, और फ्लैट मिनिमा बेहतर सामान्यीकरण करता है क्योंकि ट्रेन और परीक्षण नुकसान संरेखित रहते हैं।

क्योंकि बीएन आँकड़े विशिष्ट भार पर निर्भर करते हैं, औसत मॉडल को चल रहे साधनों और भिन्नताओं की पुनर्गणना करने के लिए डेटा पर एक अतिरिक्त पास की आवश्यकता होती है।

एसडब्ल्यूए मध्यम रूप से उच्च स्थिर या चक्रीय सीखने की दर रखता है इसलिए एसजीडी विस्तृत समतल क्षेत्र की खोज जारी रखता है जिसके बिंदुओं का औसत निकाला जाता है।

एसडब्ल्यूए कई चौकियों को एक औसत वजन सेट में समेट देता है, इसलिए अनुमान की लागत एन के बजाय एकल मॉडल के समान होती है।