स्व-पर्यवेक्षित शिक्षण

It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.

डेटा को हाथ से लेबल करना धीमा और महंगा है, फिर भी दुनिया बिना लेबल वाले टेक्स्ट, छवियों, ऑडियो और वीडियो से भरी हुई है। स्व-पर्यवेक्षित शिक्षण 'बहाना कार्य' बनाकर इसे अनलॉक करता है जहां डेटा अपना स्वयं का उत्तर प्रदान करता है। क्लासिक उदाहरण नकाबपोश भाषा मॉडलिंग है, जिसका उपयोग BERT द्वारा किया जाता है: एक वाक्य में कुछ शब्दों को छिपाएं और संदर्भ से उनकी भविष्यवाणी करने के लिए मॉडल को प्रशिक्षित करें। GPT-शैली मॉडल अगले शब्द की भविष्यवाणी करते हैं। दृष्टि में, सिमसीएलआर जैसी विरोधाभासी विधियां मॉडल को एक ही छवि की दो संवर्धित फसलें दिखाती हैं और यह सिखाती हैं कि वे अलग-अलग छवियों को अलग करते हुए एक साथ हैं। इन स्व-निर्मित पहेलियों को हल करना मॉडल को अर्थ और संरचना का समृद्ध आंतरिक प्रतिनिधित्व बनाने के लिए मजबूर करता है। फिर वे अभ्यावेदन बहुत कम या बिना लेबल वाले डेटा के साथ वास्तविक डाउनस्ट्रीम कार्यों में शक्तिशाली रूप से स्थानांतरित हो जाते हैं।