लॉटरी टिकट परिकल्पना
लॉटरी टिकट परिकल्पना कहती है कि एक बड़े, बेतरतीब ढंग से आरंभ किए गए तंत्रिका नेटवर्क के अंदर एक छोटा सबनेटवर्क छिपा होता है - एक 'जीतने वाला टिकट' - जो समान प्रारंभिक भार से अकेले प्रशिक्षित होता है, जो पूरे नेटवर्क की सटीकता से मेल खा सकता है।
सिंहावलोकन
It matters because it suggests we are training far more parameters than we actually need.
गहरा गोता
2018 में एमआईटी में जोनाथन फ्रैंकल और माइकल कार्बिन द्वारा प्रस्तावित, यह परिकल्पना प्रूनिंग अनुसंधान से विकसित हुई। आम तौर पर आप सटीकता खोए बिना एक प्रशिक्षित नेटवर्क को उसके वजन के 10-20% तक कम कर सकते हैं, लेकिन उस छोटे नेटवर्क को शुरू से प्रशिक्षित करना विफल रहता है। फ्रेंकल और कार्बिन ने तरकीब ढूंढी: बचे हुए कनेक्शनों का मूल प्रारंभिक वजन बनाए रखें। वह विरल सबनेटवर्क - विजयी टिकट - फिर अलगाव में पूर्ण सटीकता के साथ प्रशिक्षित होता है, कभी-कभी सघन मूल से भी तेज। उन्होंने 'पुनरावृत्तीय परिमाण छंटाई' के माध्यम से टिकटों की पहचान की: ट्रेन, सबसे छोटे-परिमाण वाले वजन को छांटना, बाकी को उनके प्रारंभिक मूल्यों पर वापस लाना, और दोहराना। परिणाम से पता चलता है कि सघन ओवरपैरामीटराइजेशन मुख्य रूप से अनुकूलन को एक अच्छी विरल संरचना खोजने में मदद करता है, ऐसा नहीं है कि वे सभी भार व्यक्तिगत रूप से आवश्यक हैं।
तकनीकी अंतर्दृष्टि
मुख्य प्रक्रिया वेट रिवाइंडिंग के साथ पुनरावृत्त परिमाण की छंटाई है: प्रशिक्षण के बाद, सबसे कम-परिमाण वाले वजन को हटा दें, शेष वजन को उनके मूल आरंभीकरण (या एक प्रारंभिक-प्रशिक्षण चेकपॉइंट, 'रिवाइंडिंग' नामक शोधन) पर रीसेट करें, फिर पुनः प्रशिक्षित करें। एक विशिष्ट विरल मास्क का संयोजन और उसका मिलान आरंभीकरण ही एक टिकट को 'जीत' बनाता है - उसी मास्क को बेतरतीब ढंग से पुनः आरंभ करने से प्रभाव नष्ट हो जाता है।
सामरिक प्रभाव
स्पष्ट निर्णय
यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
लागत और बजट
आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
टीम और वर्कफ़्लो
साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।
लॉटरी टिकट परिकल्पना का भविष्य
लॉटरी टिकट गणना और ऊर्जा बचाने के लिए शुरू से ही विरल नेटवर्क के प्रशिक्षण में अनुसंधान को बढ़ावा देते हैं, और क्या टिकट डेटासेट और कार्यों में स्थानांतरित होते हैं। बिलियन-पैरामीटर मॉडल में पुनरावृत्तीय छंटाई को स्केल करना महंगा रहता है, इसलिए सस्ते में टिकट खोजने या यह साबित करने पर काम जारी रहता है कि वे मौजूद हैं ('मजबूत' लॉटरी टिकट परिकल्पना कहती है कि टिकट बिना किसी प्रशिक्षण के आरंभ में मौजूद होते हैं)। कुशल ऑन-डिवाइस मॉडल और हरित AI के साथ गठजोड़ की अपेक्षा करें।
वास्तविक विश्व कार्यान्वयन
सटीकता बनाए रखते हुए फोन पर तैनाती के लिए एक बड़ी छवि क्लासिफायरियर को उसके वजन के 20% से कम पर संपीड़ित करना
केवल विरल जीतने वाले सबनेटवर्क की पहचान और प्रशिक्षण करके प्रशिक्षण में तेजी लाना
संबंधित डेटासेट पर प्रशिक्षण शुरू करने के लिए एक डेटासेट पर पाए गए टिकट का पुन: उपयोग करके वजन हस्तांतरण क्षमता का अध्ययन करना
घने मॉडल के बजाय कटे हुए विजेता टिकट को शिपिंग करके किनारे के उपकरणों में अनुमान ऊर्जा और मेमोरी को कम करना
जोखिम और रेलिंग
अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।
कार्यान्वयन रोडमैप
आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
दस्तावेज़ जहां लॉटरी टिकट परिकल्पना मदद करती है और जहां सरल तरीके बेहतर हैं।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lottery Ticket Hypothesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
चिनचिला कंप्यूट-इष्टतम प्रशिक्षण
अक्सर पूछे जाने वाले प्रश्नों
What is Lottery Ticket Hypothesis?
लॉटरी टिकट परिकल्पना कहती है कि एक बड़े, बेतरतीब ढंग से आरंभ किए गए तंत्रिका नेटवर्क के अंदर एक छोटा सबनेटवर्क छिपा होता है - एक 'जीतने वाला टिकट' - जो समान प्रारंभिक भार से अकेले प्रशिक्षित होता है, जो पूरे नेटवर्क की सटीकता से मेल खा सकता है। यह मायने रखता है क्योंकि यह बताता है कि हम वास्तव में आवश्यकता से कहीं अधिक मापदंडों का प्रशिक्षण ले रहे हैं।
इस परिकल्पना में 'जीतने वाला टिकट' क्या है?
एक विजेता टिकट एक छोटा उप-नेटवर्क है, जिसे जब समान प्रारंभिक भार से अलग करके प्रशिक्षित किया जाता है, तो घने नेटवर्क की तुलना में सटीकता तक पहुंच जाता है।
जब तक आप कुछ विशेष नहीं करते, काँटे गए सबनेटवर्क का प्रशिक्षण सामान्यतः विफल क्यों हो जाता है?
मुख्य अंतर्दृष्टि यह है कि विरल मुखौटा केवल तभी काम करता है जब मिलान किए गए मूल आरंभीकरण के साथ जोड़ा जाता है; यादृच्छिक पुनर्प्रारंभीकरण इसे तोड़ देता है।
लॉटरी टिकट परिकल्पना का प्रस्ताव किसने दिया?
जोनाथन फ्रैंकल और माइकल कार्बिन ने अपने 2018 एमआईटी पेपर में परिकल्पना पेश की।
विजयी टिकट ढूंढने के लिए किस तकनीक का उपयोग किया जाता है?
पुनरावर्ती परिमाण प्रूनिंग को बार-बार प्रशिक्षित किया जाता है, सबसे छोटे-परिमाण वाले वजन को हटा दिया जाता है, और बाकी को उनके प्रारंभिक मूल्यों पर वापस ला दिया जाता है।
बड़े पैमाने पर पैरामीटरयुक्त नेटवर्क के बारे में परिकल्पना क्या सुझाव देती है?
इस खोज से पता चलता है कि अति-मानकीकरण हर आवश्यक वजन के बजाय एक प्रशिक्षण योग्य विरल उप-नेटवर्क की खोज में सहायता करता है।