सिंहावलोकन
लॉटरी टिकट परिकल्पना कहती है कि एक बड़े, बेतरतीब ढंग से आरंभ किए गए तंत्रिका नेटवर्क के अंदर एक छोटा सबनेटवर्क छिपा होता है - एक 'जीतने वाला टिकट' - जो समान प्रारंभिक भार से अकेले प्रशिक्षित होता है, जो पूरे नेटवर्क की सटीकता से मेल खा सकता है। यह मायने रखता है क्योंकि यह बताता है कि हम वास्तव में आवश्यकता से कहीं अधिक मापदंडों का प्रशिक्षण ले रहे हैं।
लॉटरी टिकट परिकल्पना मुख्य एआई टूलकिट में बैठती है। जब आप इसे समझ जाते हैं, तो अन्य एआई विषयों का मूल्यांकन और तुलना करना आसान हो जाता है।
गहरा गोता
2018 में एमआईटी में जोनाथन फ्रैंकल और माइकल कार्बिन द्वारा प्रस्तावित, यह परिकल्पना प्रूनिंग अनुसंधान से विकसित हुई। आम तौर पर आप सटीकता खोए बिना एक प्रशिक्षित नेटवर्क को उसके वजन के 10-20% तक कम कर सकते हैं, लेकिन उस छोटे नेटवर्क को शुरू से प्रशिक्षित करना विफल रहता है। फ्रेंकल और कार्बिन ने तरकीब ढूंढी: बचे हुए कनेक्शनों का मूल प्रारंभिक वजन बनाए रखें। वह विरल सबनेटवर्क - विजयी टिकट - फिर अलगाव में पूर्ण सटीकता के साथ प्रशिक्षित होता है, कभी-कभी सघन मूल से भी तेज। उन्होंने 'पुनरावृत्तीय परिमाण छंटाई' के माध्यम से टिकटों की पहचान की: ट्रेन, सबसे छोटे-परिमाण वाले वजन को छांटना, बाकी को उनके प्रारंभिक मूल्यों पर वापस लाना, और दोहराना। परिणाम से पता चलता है कि सघन ओवरपैरामीटराइजेशन मुख्य रूप से अनुकूलन को एक अच्छी विरल संरचना खोजने में मदद करता है, ऐसा नहीं है कि वे सभी भार व्यक्तिगत रूप से आवश्यक हैं।
तकनीकी अंतर्दृष्टि
मुख्य प्रक्रिया वेट रिवाइंडिंग के साथ पुनरावृत्त परिमाण की छंटाई है: प्रशिक्षण के बाद, सबसे कम-परिमाण वाले वजन को हटा दें, शेष वजन को उनके मूल आरंभीकरण (या एक प्रारंभिक-प्रशिक्षण चेकपॉइंट, 'रिवाइंडिंग' नामक शोधन) पर रीसेट करें, फिर पुनः प्रशिक्षित करें। एक विशिष्ट विरल मास्क का संयोजन और उसका मिलान आरंभीकरण ही एक टिकट को 'जीत' बनाता है - उसी मास्क को बेतरतीब ढंग से पुनः आरंभ करने से प्रभाव नष्ट हो जाता है।
लॉटरी टिकट परिकल्पना में महारत हासिल करना
लॉटरी टिकट परिकल्पना कहती है कि एक बड़े, बेतरतीब ढंग से आरंभ किए गए तंत्रिका नेटवर्क के अंदर एक छोटा सबनेटवर्क छिपा होता है - एक 'जीतने वाला टिकट' - जो समान प्रारंभिक भार से अकेले प्रशिक्षित होता है, जो पूरे नेटवर्क की सटीकता से मेल खा सकता है। यह मायने रखता है क्योंकि यह बताता है कि हम वास्तव में आवश्यकता से कहीं अधिक मापदंडों का प्रशिक्षण ले रहे हैं। लॉटरी टिकट परिकल्पना मुख्य एआई टूलकिट में बैठती है। जब आप इसे समझ जाते हैं, तो अन्य एआई विषयों का मूल्यांकन और तुलना करना आसान हो जाता है। गहरी समझ बनाने के लिए, लॉटरी टिकट परिकल्पना को एक ऑपरेटिंग मॉडल के रूप में मानें, न कि एक विशेषता के रूप में: वांछित परिणामों को परिभाषित करें, मान्यताओं को स्पष्ट करें, और जो सिस्टम विश्वसनीय रूप से कर सकता है उसे अलग करें जिसके लिए अभी भी विशेषज्ञ निर्णय की आवश्यकता है।
व्यवहार में, लॉटरी टिकट परिकल्पना का उपयोग करने वाली मजबूत टीमें पहले मजबूत वैचारिक मॉडल बनाती हैं, फिर उन मॉडलों को वास्तविक उत्पादन बाधाओं के अनुसार मैप करती हैं। वे स्पष्ट सफलता मानदंडों का दस्तावेजीकरण करते हैं, यथार्थवादी डेटा और वर्कफ़्लो के विरुद्ध परीक्षण करते हैं, और एक बार की बेंचमार्क जीत के बजाय देखे गए विफलता पैटर्न के आधार पर पुनरावृत्ति करते हैं। यहीं पर सैद्धांतिक समझ उत्पाद, नीति और संचालन में टिकाऊ क्षमता में बदल जाती है।
यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है। एक ही समय में, अलग-अलग टीमें एक ही शब्द का अलग-अलग उपयोग कर सकती हैं, इसलिए दायरे को जल्दी परिभाषित करें। सबसे लचीला दृष्टिकोण प्रयोग की गति को शासन अनुशासन के साथ जोड़ना है: पायलट चलाना, साक्ष्य प्राप्त करना, निर्णय लॉग प्रकाशित करना, और मॉडल व्यवहार, उपयोगकर्ता अपेक्षाओं और नियामक आवश्यकताओं के विकसित होने पर सुरक्षा उपायों को लगातार अपडेट करना।
सामरिक प्रभाव
यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है। उच्च-गुणवत्ता वाली तैनाती में, इसे मापने योग्य संचालन नियमों, स्वामित्व सीमाओं और आवर्ती समीक्षा अनुष्ठानों में अनुवादित किया जाता है ताकि टीमें अस्पष्टता को मापने के बजाय आत्मविश्वास को बढ़ा सकें।
आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं। उच्च-गुणवत्ता वाली तैनाती में, इसे मापने योग्य संचालन नियमों, स्वामित्व सीमाओं और आवर्ती समीक्षा अनुष्ठानों में अनुवादित किया जाता है ताकि टीमें अस्पष्टता को मापने के बजाय आत्मविश्वास को बढ़ा सकें।
साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।
साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं। उच्च-गुणवत्ता वाली तैनाती में, इसे मापने योग्य संचालन नियमों, स्वामित्व सीमाओं और आवर्ती समीक्षा अनुष्ठानों में अनुवादित किया जाता है ताकि टीमें अस्पष्टता को मापने के बजाय आत्मविश्वास को बढ़ा सकें।
वास्तविक विश्व कार्यान्वयन
सटीकता बनाए रखते हुए फोन पर तैनाती के लिए एक बड़ी छवि क्लासिफायरियर को उसके वजन के 20% से कम पर संपीड़ित करना
केवल विरल जीतने वाले सबनेटवर्क की पहचान और प्रशिक्षण करके प्रशिक्षण में तेजी लाना
संबंधित डेटासेट पर प्रशिक्षण शुरू करने के लिए एक डेटासेट पर पाए गए टिकट का पुन: उपयोग करके वजन हस्तांतरण क्षमता का अध्ययन करना
घने मॉडल के बजाय कटे हुए विजेता टिकट को शिपिंग करके किनारे के उपकरणों में अनुमान ऊर्जा और मेमोरी को कम करना
कार्यान्वयन पैटर्न
व्यवहार में लॉटरी टिकट परिकल्पना
सटीकता बनाए रखते हुए फोन पर तैनाती के लिए एक बड़ी छवि क्लासिफायरियर को उसके वजन के 20% से कम पर संपीड़ित करना।
सटीकता बनाए रखते हुए फोन पर तैनाती के लिए एक बड़ी छवि क्लासिफायरियर को उसके वजन के 20% से कम पर संपीड़ित करना टीमों को आमतौर पर बेहतर परिणाम मिलते हैं जब वे गुणवत्ता सीमा को सामने से परिभाषित करते हैं, किनारे के मामलों के लिए एक मानव वृद्धि पथ रखते हैं, और समय के साथ उत्पादकता लाभ और त्रुटि लागत दोनों को ट्रैक करते हैं।
व्यवहार में लॉटरी टिकट परिकल्पना
केवल विरल जीतने वाले सबनेटवर्क की पहचान और प्रशिक्षण करके प्रशिक्षण में तेजी लाना।
केवल एक विरल विजेता सबनेटवर्क की पहचान और प्रशिक्षण करके प्रशिक्षण में तेजी लाना टीमों को आमतौर पर बेहतर परिणाम मिलते हैं जब वे गुणवत्ता सीमा को सामने से परिभाषित करते हैं, किनारे के मामलों के लिए एक मानव वृद्धि पथ रखते हैं, और समय के साथ उत्पादकता लाभ और त्रुटि लागत दोनों को ट्रैक करते हैं।
व्यवहार में लॉटरी टिकट परिकल्पना
संबंधित डेटासेट पर प्रशिक्षण शुरू करने के लिए एक डेटासेट पर पाए गए टिकट का पुन: उपयोग करके वजन हस्तांतरण क्षमता का अध्ययन करना।
किसी संबंधित डेटासेट पर प्रशिक्षण शुरू करने के लिए एक डेटासेट पर पाए गए टिकट का पुन: उपयोग करके वजन हस्तांतरण क्षमता का अध्ययन करना टीमों को आमतौर पर बेहतर परिणाम मिलते हैं जब वे गुणवत्ता सीमा को सामने से परिभाषित करते हैं, किनारे के मामलों के लिए एक मानव वृद्धि पथ रखते हैं, और समय के साथ उत्पादकता लाभ और त्रुटि लागत दोनों को ट्रैक करते हैं।
व्यवहार में लॉटरी टिकट परिकल्पना
घने मॉडल के बजाय कटे हुए विजेता टिकट को शिपिंग करके किनारे के उपकरणों में अनुमान ऊर्जा और मेमोरी को कम करना।
घने मॉडल के बजाय कटे हुए विजेता टिकट को शिपिंग करके किनारे के उपकरणों में अनुमान ऊर्जा और मेमोरी को कम करना टीमों को आमतौर पर बेहतर परिणाम मिलते हैं जब वे गुणवत्ता सीमा को सामने से परिभाषित करते हैं, किनारे के मामलों के लिए एक मानव वृद्धि पथ रखते हैं, और समय के साथ उत्पादकता लाभ और त्रुटि लागत दोनों को ट्रैक करते हैं।
जोखिम और रेलिंग
अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।
कार्यान्वयन रोडमैप
आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें। प्रत्येक चरण को एक साक्ष्य द्वार के रूप में मानें: यदि मानदंड पूरे नहीं होते हैं, तो रोलआउट रोकें, अंतर को बंद करें, और उसके बाद ही उपयोग का विस्तार करें।
परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें। प्रत्येक चरण को एक साक्ष्य द्वार के रूप में मानें: यदि मानदंड पूरे नहीं होते हैं, तो रोलआउट रोकें, अंतर को बंद करें, और उसके बाद ही उपयोग का विस्तार करें।
प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट। प्रत्येक चरण को एक साक्ष्य द्वार के रूप में मानें: यदि मानदंड पूरे नहीं होते हैं, तो रोलआउट रोकें, अंतर को बंद करें, और उसके बाद ही उपयोग का विस्तार करें।
दस्तावेज़ जहां लॉटरी टिकट परिकल्पना मदद करती है और जहां सरल तरीके बेहतर हैं।
दस्तावेज़ जहां लॉटरी टिकट परिकल्पना मदद करती है और जहां सरल तरीके बेहतर हैं। प्रत्येक चरण को एक साक्ष्य द्वार के रूप में मानें: यदि मानदंड पूरे नहीं होते हैं, तो रोलआउट रोकें, अंतर को बंद करें, और उसके बाद ही उपयोग का विस्तार करें।