समूह सामान्यीकरण
समूह सामान्यीकरण एक ऐसी तकनीक है जो प्रत्येक उदाहरण के लिए स्वतंत्र रूप से चैनलों के छोटे समूहों के भीतर सुविधाओं को सामान्य करके तंत्रिका नेटवर्क प्रशिक्षण को स्थिर करती है।
सिंहावलोकन
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
गहरा गोता
सामान्यीकरण परतें नेटवर्क के माध्यम से संख्याओं को अच्छी तरह से प्रवाहित रखती हैं, जो प्रशिक्षण को गति और स्थिर करती है। बैच सामान्यीकरण पूरे मिनी-बैच में प्रत्येक सुविधा के माध्य और भिन्नता की गणना करके ऐसा करता है, लेकिन जब बैच छोटे होते हैं तो यह इसे नाजुक बना देता है, क्योंकि आँकड़े शोर और अविश्वसनीय हो जाते हैं। 2018 में वू और हे द्वारा शुरू किया गया समूह सामान्यीकरण, बैच को समीकरण से पूरी तरह से हटा देता है। प्रत्येक व्यक्तिगत उदाहरण के लिए, यह चैनलों को निश्चित संख्या में समूहों में विभाजित करता है, फिर केवल उस उदाहरण के स्वयं के मूल्यों का उपयोग करके प्रत्येक समूह को सामान्य बनाता है। क्योंकि गणना कभी भी बैच में अन्य उदाहरणों पर निर्भर नहीं करती है, प्रदर्शन स्थिर रहता है चाहे बैच में 32 छवियां हों या सिर्फ एक, जिससे यह पता लगाने, विभाजन और मेमोरी-भारी दृष्टि कार्यों में लोकप्रिय हो जाता है।
तकनीकी अंतर्दृष्टि
ग्रुप नॉर्म प्रत्येक नमूने के अनुसार, स्थानिक आयामों और प्रत्येक समूह के भीतर चैनलों पर माध्य और भिन्नता की गणना करता है। इसके बाद यह शून्य माध्य और इकाई विचरण को सामान्य कर देता है और सीखे गए प्रति-चैनल स्केल (गामा) और शिफ्ट (बीटा) को लागू करता है। यह अन्य योजनाओं को सामान्यीकृत करता है: एक समूह के साथ यह परत सामान्यीकरण बन जाता है, और प्रति समूह एक चैनल के साथ यह इंस्टेंस सामान्यीकरण बन जाता है। समूह गणना एक हाइपरपैरामीटर है, जिसे अक्सर 32 पर सेट किया जाता है।
सामरिक प्रभाव
स्पष्ट निर्णय
यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
लागत और बजट
आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
टीम और वर्कफ़्लो
साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।
समूह सामान्यीकरण का भविष्य
जहां भी बैच छोटा होना चाहिए, वहां समूह सामान्यीकरण पसंदीदा विकल्प रहता है, जैसे उच्च-रिज़ॉल्यूशन पहचान और विभाजन, 3 डी और वीडियो मॉडल और मेमोरी-सीमित प्रशिक्षण। यह प्रसार मॉडल के अंदर यू-नेट्स जैसे व्यापक रूप से उपयोग किए जाने वाले जेनरेटिव आर्किटेक्चर में भी एम्बेडेड है। जैसे-जैसे मॉडल बढ़ते हैं और मेमोरी दबाव बैच के आकार को नीचे धकेलता है, बैच-स्वतंत्र नॉर्मलाइज़र, लेयर नॉर्म के साथ ग्रुप नॉर्म, हाइब्रिड और सामान्यीकरण-मुक्त विकल्पों में निरंतर शोध के साथ, डिफ़ॉल्ट बिल्डिंग ब्लॉक बने रहने की संभावना है।
वास्तविक विश्व कार्यान्वयन
ऑब्जेक्ट डिटेक्शन और इंस्टेंस सेगमेंटेशन (उदाहरण के लिए, मास्क आर-सीएनएन स्टाइल मॉडल) को बहुत छोटे प्रति-जीपीयू बैचों के साथ प्रशिक्षित किया गया।
प्रसार छवि जनरेटर के अंदर यू-नेट बैकबोन, जहां ग्रुप नॉर्म फीचर स्केल को स्थिर करता है।
3डी और वीडियो नेटवर्क जहां उच्च मेमोरी उपयोग बैच आकार को एक या दो तक कम कर देता है।
सीमित हार्डवेयर पर बड़े विज़न मॉडल को फाइन-ट्यूनिंग करना जहां छोटे बैच बैच नॉर्म आंकड़ों को अविश्वसनीय बनाते हैं।
जोखिम और रेलिंग
अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।
कार्यान्वयन रोडमैप
आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
दस्तावेज़ जहां समूह सामान्यीकरण मदद करता है और जहां सरल तरीके बेहतर हैं।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
आरएलएचएफ में समूहीकृत पुरस्कार सामान्यीकरण
अक्सर पूछे जाने वाले प्रश्नों
What is Group Normalization?
समूह सामान्यीकरण एक ऐसी तकनीक है जो प्रत्येक उदाहरण के लिए स्वतंत्र रूप से चैनलों के छोटे समूहों के भीतर सुविधाओं को सामान्य करके तंत्रिका नेटवर्क प्रशिक्षण को स्थिर करती है। यह मायने रखता है क्योंकि, बैच सामान्यीकरण के विपरीत, बैच छोटे होने पर भी यह अच्छी तरह से काम करता है।
बैच सामान्यीकरण की तुलना में समूह सामान्यीकरण का मुख्य लाभ क्या है?
क्योंकि ग्रुप नॉर्म पूरे बैच के बजाय प्रति उदाहरण आँकड़ों की गणना करता है, यह बैच नॉर्म के विपरीत, छोटे बैचों द्वारा ख़राब नहीं होता है।
समूह सामान्यीकरण किस पर अपने माध्य और विचरण की गणना करता है?
यह चैनलों को समूहों में विभाजित करता है और शेष बैच को अनदेखा करते हुए केवल उस एकल उदाहरण के मूल्यों और स्थानिक स्थानों का उपयोग करके प्रत्येक समूह को सामान्य बनाता है।
समूह सामान्यीकरण किस विशेष मामले में परत सामान्यीकरण बन जाता है?
एक एकल समूह के साथ, सभी चैनलों को उदाहरण के अनुसार एक साथ सामान्यीकृत किया जाता है, जो बिल्कुल परत सामान्यीकरण है।
समूह सामान्यीकरण किस विशेष मामले में उदाहरण सामान्यीकरण बन जाता है?
यदि प्रत्येक समूह एक एकल चैनल रखता है, तो प्रत्येक चैनल अपने उदाहरण के अनुसार सामान्यीकृत होता है, जो इंस्टेंस नॉर्मलाइज़ेशन है।
सामान्यीकरण के बाद, प्रतिनिधित्व संबंधी लचीलेपन को बहाल करने के लिए ग्रुप नॉर्म क्या लागू होता है?
अन्य सामान्यीकरण परतों की तरह, ग्रुप नॉर्म में सीखने योग्य स्केल और शिफ्ट पैरामीटर शामिल होते हैं ताकि नेटवर्क आवश्यकतानुसार सामान्यीकरण को पूर्ववत या समायोजित कर सके।