लॉटरी टिकट परिकल्पना

लॉटरी टिकट परिकल्पना कहती है कि एक बड़े, बेतरतीब ढंग से आरंभ किए गए तंत्रिका नेटवर्क के अंदर एक छोटा सबनेटवर्क छिपा होता है - एक 'जीतने वाला टिकट' - जो समान प्रारंभिक भार से अकेले प्रशिक्षित होता है, जो पूरे नेटवर्क की सटीकता से मेल खा सकता है। यह मायने रखता है क्योंकि यह बताता है कि हम वास्तव में आवश्यकता से कहीं अधिक मापदंडों का प्रशिक्षण ले रहे हैं।

2018 में एमआईटी में जोनाथन फ्रैंकल और माइकल कार्बिन द्वारा प्रस्तावित, यह परिकल्पना प्रूनिंग अनुसंधान से विकसित हुई। आम तौर पर आप सटीकता खोए बिना एक प्रशिक्षित नेटवर्क को उसके वजन के 10-20% तक कम कर सकते हैं, लेकिन उस छोटे नेटवर्क को शुरू से प्रशिक्षित करना विफल रहता है। फ्रेंकल और कार्बिन ने तरकीब ढूंढी: बचे हुए कनेक्शनों का मूल प्रारंभिक वजन बनाए रखें। वह विरल सबनेटवर्क - विजयी टिकट - फिर अलगाव में पूर्ण सटीकता के साथ प्रशिक्षित होता है, कभी-कभी सघन मूल से भी तेज। उन्होंने 'पुनरावृत्तीय परिमाण छंटाई' के माध्यम से टिकटों की पहचान की: ट्रेन, सबसे छोटे-परिमाण वाले वजन को छांटना, बाकी को उनके प्रारंभिक मूल्यों पर वापस लाना, और दोहराना। परिणाम से पता चलता है कि सघन ओवरपैरामीटराइजेशन मुख्य रूप से अनुकूलन को एक अच्छी विरल संरचना खोजने में मदद करता है, ऐसा नहीं है कि वे सभी भार व्यक्तिगत रूप से आवश्यक हैं।