छद्म-लेबलिंग और स्व-प्रशिक्षण

स्व-प्रशिक्षण सबसे पुराने अर्ध-पर्यवेक्षित विचारों में से एक है। आप पहले सीमित लेबल वाले डेटा पर एक शिक्षक मॉडल को प्रशिक्षित करें। फिर शिक्षक बिना लेबल वाले उदाहरणों के एक बड़े समूह के लिए लेबल की भविष्यवाणी करता है; उच्च-विश्वास वाली भविष्यवाणियाँ छद्म-लेबल बन जाती हैं। एक छात्र मॉडल को सच्चे लेबल और छद्म लेबल के मिलन पर प्रशिक्षित किया जाता है, जो अक्सर शिक्षक से बेहतर प्रदर्शन करता है। आत्मविश्वास की सीमाएँ मायने रखती हैं: केवल संभाव्यता कटऑफ से ऊपर की भविष्यवाणियाँ रखी जाती हैं, इसलिए मॉडल अपने अनिश्चित अनुमानों से दूषित नहीं होता है। आधुनिक वेरिएंट छद्म-लेबलिंग को स्थिरता नियमितीकरण के साथ जोड़ते हैं। उदाहरण के लिए, फिक्समैच एक कमजोर रूप से संवर्धित छवि से एक छद्म-लेबल उत्पन्न करता है और मॉडल को दृढ़ता से संवर्धित संस्करण पर मिलान करने के लिए प्रशिक्षित करता है, लेकिन केवल तभी जब कमजोर भविष्यवाणी आश्वस्त हो। नॉइज़ी स्टूडेंट ने अपने प्रशिक्षण के दौरान छात्र को बड़ा बनाकर और शोर (ड्रॉपआउट, वृद्धि) जोड़कर इमेजनेट पर इस विचार को बढ़ाया।