अर्ध-पर्यवेक्षित शिक्षण में निरंतरता नियमितीकरण

संगति नियमितीकरण एक मॉडल को वही उत्तर देना सिखाता है जब एक बिना लेबल वाले इनपुट को छोटे, लेबल-संरक्षित तरीकों से परेशान किया जाता है। यह आपको बिना लेबल वाले डेटा के विशाल ढेर से सीखने की सुविधा देता है, नाटकीय रूप से यह बताता है कि आपको कितने हाथ से लेबल किए गए उदाहरणों की आवश्यकता है।

विधि मानती है कि किसी इनपुट को ऐसे तरीके से दबाने से जो उसके वास्तविक लेबल को नहीं बदलता है, मॉडल के आउटपुट को नहीं बदलना चाहिए, इसलिए यह संवर्धित दृश्यों में पूर्वानुमान अंतर को दंडित करता है।

मीन टीचर एक 'शिक्षक' का उपयोग करता है जिसका वजन 'छात्र' के वजन का एक घातीय चलती औसत है, जो स्थिरता हानि के लिए अधिक स्थिर लक्ष्य तैयार करता है।

छद्म-लेबल केवल तब रखकर जब कमजोर रूप से संवर्धित भविष्यवाणी आश्वस्त हो, फिक्समैच मॉडल को प्रशिक्षित होने और अपनी अनिश्चित त्रुटियों को बढ़ाने से रोकता है।

गड़बड़ी के तहत स्थिर भविष्यवाणियों को प्रोत्साहित करना सीमाओं को घने समूहों के माध्यम से काटने से हतोत्साहित करता है, उन्हें विरल कम घनत्व वाले अंतराल में धकेल देता है।

स्टॉप-ग्रेडिएंट एक दृश्य को लक्ष्य के रूप में कार्य करता है, दूसरे दृश्य को मिलान के लिए प्रशिक्षित किया जाता है, जो प्रशिक्षण को स्थिर करता है और तुच्छ पतन को रोकता है।