पाठ्यचर्या सीखना

It mirrors how schools teach: master arithmetic before calculus, and the model often learns faster and generalizes better.

योशुआ बेंगियो और सहकर्मियों द्वारा 2009 के एक पेपर में गढ़ा गया, पाठ्यक्रम शिक्षण प्रशिक्षण का आयोजन करता है ताकि एक मॉडल कठिन उदाहरणों से पहले सरल, कम अस्पष्ट उदाहरण देख सके। अंतर्ज्ञान यह है कि शुरुआती आसान उदाहरण अच्छे प्रारंभिक मापदंडों को आकार देते हैं और नुकसान के परिदृश्य को सुचारू करते हैं, जिससे ऑप्टिमाइज़र को खराब स्थानीय न्यूनतम से बचने में मदद मिलती है। 'कठिनाई' को हाथ से (लंबे वाक्यों से पहले छोटे वाक्य), अनुमान (छवि स्पष्टता, शोर स्तर) द्वारा परिभाषित किया जा सकता है, या स्वचालित रूप से सीखा जा सकता है। वेरिएंट में स्व-गति से सीखना शामिल है, जहां मॉडल स्वयं मूल्यांकन करता है कि वह किन उदाहरणों के लिए तैयार है, और पाठ्यचर्या-विरोधी (कठिन-प्रथम) दृष्टिकोण जो कभी-कभी मदद करते हैं। सीमित डेटा या कठिन अनुकूलन के साथ पाठ्यचर्या प्रभाव सबसे मजबूत होते हैं; बड़े पैमाने पर डेटा और आधुनिक अनुकूलकों के साथ, लाभ कम हो सकते हैं या गायब हो सकते हैं।