दोहरी वंश घटना

डबल डिसेंट आश्चर्यजनक अवलोकन है कि जैसे-जैसे एक मॉडल बड़ा होता जाता है, परीक्षण त्रुटि पहले 'इंटरपोलेशन थ्रेशोल्ड' के पास खराब हो जाती है, लेकिन फिर फिर से बेहतर हो जाती है - क्लासिक पाठ्यपुस्तक ट्रेडऑफ़ को धता बताते हुए। यह मायने रखता है क्योंकि यह यह समझाने में मदद करता है कि क्यों विशाल, अति-मानकीकृत तंत्रिका नेटवर्क ओवरफिटिंग के बजाय अच्छी तरह से सामान्यीकृत होते हैं।

शास्त्रीय आँकड़े एक यू-आकार का वक्र सिखाते हैं: जैसे-जैसे मॉडल की जटिलता बढ़ती है, परीक्षण त्रुटि कम होती जाती है, नीचे आती जाती है, फिर मॉडल के ओवरफिट होने पर ऊपर उठती है। डबल डिसेंट, जिसे 2019 में बेल्किन, सू, मा और मंडल द्वारा लोकप्रिय बनाया गया और OpenAI द्वारा पैमाने पर अध्ययन किया गया, दिखाता है कि वक्र में दूसरा डिसेंट है। परीक्षण त्रुटि सीधे इंटरपोलेशन थ्रेशोल्ड पर चरम पर होती है - वह बिंदु जहां मॉडल के पास प्रत्येक प्रशिक्षण बिंदु को बिल्कुल फिट करने के लिए पर्याप्त पैरामीटर होते हैं (शून्य प्रशिक्षण त्रुटि)। इसे अति-पैरामीटराइज़्ड शासन में धकेलें और परीक्षण त्रुटि फिर से गिर जाती है, अक्सर शास्त्रीय मीठे स्थान से नीचे। समान प्रभाव मॉडल आकार, प्रशिक्षण समय ('युग-वार' डबल डिसेंट), और डेटासेट आकार पर दिखाई देता है। यह पुराने डर को खारिज करता है कि 'अधिक मापदंडों का मतलब हमेशा ओवरफिटिंग होता है।'