Zelfgestuurd leren
Zelfgecontroleerd leren traint modellen op basis van niet-gelabelde gegevens door een taak uit te vinden waarvan het antwoord verborgen is in de gegevens zelf.
Overzicht
It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.
Diepe duik
Het handmatig labelen van gegevens is langzaam en duur, maar toch is de wereld vol met ongelabelde tekst, afbeeldingen, audio en video. Zelfgecontroleerd leren ontsluit dit door 'voorwendtaken' te creëren waarbij de gegevens hun eigen antwoord bieden. Het klassieke voorbeeld is gemaskerde taalmodellering, gebruikt door BERT: verberg enkele woorden in een zin en train het model om ze vanuit de context te voorspellen. Modellen in GPT-stijl voorspellen het volgende woord. In visie tonen contrastieve methoden zoals SimCLR het model twee augmented crops van hetzelfde beeld en leren het dat ze bij elkaar horen terwijl verschillende beelden uit elkaar worden geduwd. Het oplossen van deze zelfgemaakte puzzels dwingt het model om rijke interne representaties van betekenis en structuur op te bouwen. Deze representaties worden vervolgens krachtig overgedragen naar echte stroomafwaartse taken met weinig of geen gelabelde gegevens.
Technisch inzicht
De truc is om gratis een supervisiesignaal te genereren. Bij gemaskerde modellering is het verborgen token het label, zodat een verlies kan worden berekend zonder enige menselijke annotatie. Bij contrastief leren vormen twee augmentaties van één beeld een 'positief paar' dat dicht bij elkaar in de inbeddingsruimte moet zitten, terwijl andere beelden 'negatieven' zijn die worden weggeduwd. Hoe dan ook, het model wordt geoptimaliseerd op basis van labels die puur zijn afgeleid van de eigen structuur van de gegevens, waarbij algemene kenmerken worden geleerd die later slechts een kleine verfijning behoeven.
Strategische impact
Clearer decisions
Het helpt u duidelijke technische claims te scheiden van marketingtaal.
Cost and budget
U kunt betere implementatievragen stellen voordat u geld of tijd uitgeeft.
Team and workflow
Teams met gedeeld begrip nemen betere product-, beleids- en leerbeslissingen.
De toekomst van zelfgestuurd leren
Zelfgestuurd leren is de motor achter de huidige basismodellen, en die rol zal alleen maar groter worden. De duidelijke trend is richting multimodale voortraining, waarbij één enkel model gezamenlijk leert van tekst, afbeeldingen, audio en video met behulp van zelfgecontroleerde doelstellingen. Onderzoekers gaan verder dan contrastieve methoden en richten zich op gemaskeerde voorspellingsbenaderingen in visie- en zelfdistillatietechnieken die geen negatieve voorbeelden nodig hebben. Nu gelabelde data van hoge kwaliteit het knelpunt wordt, zal het leren van bruikbare structuur rechtstreeks uit enorme ongelabelde stromen de centrale strategie blijven voor het opschalen van AI.
Implementatie in de echte wereld
BERT leert taal door gemaskeerde woorden te voorspellen en vervolgens te verfijnen voor zoeken, sentiment of het beantwoorden van vragen
SimCLR traint een afbeeldingsencoder vooraf op ongelabelde foto's, zodat deze later met zeer weinig labels kan worden geclassificeerd
Modellen in GPT-stijl die leren schrijven door herhaaldelijk het volgende token te voorspellen in enorme tekstcorpora
Spraakmodellen zijn vooraf getraind op onbewerkte, ongelabelde audio (voorspellen van gemaskeerde geluidssegmenten) voordat ze worden aangepast aan transcriptie
Risico's en vangrails
Verschillende teams kunnen dezelfde term verschillend gebruiken, dus definieer de reikwijdte vroeg.
Benchmarks kunnen er sterk uitzien, terwijl de prestaties in de echte wereld ongelijkmatig zijn.
Het negeren van datakwaliteit en evaluatieplannen zorgt vaak voor fragiele resultaten.
Implementatie routekaart
Begin met een definitie in duidelijke taal van het gewenste resultaat.
Kies één successtatistiek en één faalconditie voordat u gaat testen.
Voer een kleine pilot uit met representatieve gegevens, niet met een gepolijste demoset.
Documenteer waar zelfgestuurd leren helpt en waar eenvoudigere methoden beter zijn.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Begeleid leren
Frequently asked questions
What is Self-Supervised Learning?
Zelfgecontroleerd leren traint modellen op basis van niet-gelabelde gegevens door een taak uit te vinden waarvan het antwoord verborgen is in de gegevens zelf. Het is de manier waarop moderne taal- en visiemodellen leren van het ruwe internet zonder legers van menselijke etiketteerders.
Wat maakt leren ‘zelfgestuurd’?
Zelfgecontroleerd leren bedenkt een voorwendsel waarbij het antwoord verborgen is in de gegevens, zodat er geen menselijke etikettering nodig is.
Waarom is zelfgestuurd leren zo waardevol voor basismodellen?
Omdat het supervisiesignaal uit de data zelf komt, kunnen modellen vooraf worden getraind op enorme ongelabelde corpora van internet.
Wat gebeurt er normaal gesproken na de zelfgecontroleerde voortraining?
Pretraining bouwt algemene representaties op die goed worden overgedragen, dus voor specifieke taken is slechts een lichte verfijning van gelabelde gegevens nodig.
Hoe verschilt de zelfbeheerde taak van een model in GPT-stijl van die van BERT?
Modellen in GPT-stijl zijn getraind om het volgende token in een reeks te voorspellen, terwijl BERT gemaskeerde tokens voorspelt met behulp van zowel de linker- als de rechtercontext.