ग्रोकिंग और विलंबित सामान्यीकरण

It overturns the intuition that learning and generalization happen together.

मॉड्यूलर अंकगणित जैसे छोटे एल्गोरिथम कार्यों पर 2021 में OpenAI शोधकर्ताओं द्वारा खोजे गए, ग्रोकिंग एक तेज दो-चरण वक्र दिखाता है। प्रारंभ में, मॉडल प्रशिक्षण सेट पर पूरी तरह से फिट बैठता है, जबकि सत्यापन प्रदर्शन जोखिम में रहता है, निराशाजनक रूप से ओवरफिट दिखता है। फिर, बिना किसी स्पष्ट प्रगति के हजारों या लाखों अतिरिक्त कदमों के बाद, सत्यापन सटीकता अचानक लगभग पूर्ण हो जाती है। प्रमुख स्पष्टीकरण यह है कि वजन में कमी (नियमितीकरण) धीरे-धीरे नेटवर्क पर एक भंगुर याद किए गए समाधान को त्यागने और एक कॉम्पैक्ट, संरचित समाधान की खोज करने का दबाव डालती है जो वास्तव में अंतर्निहित नियम को पकड़ती है, उदाहरण के लिए एक सर्कल पर घूर्णन के रूप में मॉड्यूलर जोड़ का प्रतिनिधित्व करना। ग्रोकिंग सबसे अधिक छोटे सिंथेटिक डेटासेट पर दिखाई देती है, लेकिन इसे समझने से सामान्यीकरण कब और क्यों उभरता है, इसकी गहरी यांत्रिकी पर प्रकाश पड़ता है।