In-context leren
In-context leren is het verrassende vermogen van grote taalmodellen om een nieuwe taak op te pikken uit een paar voorbeelden die in de prompt zijn geplaatst, zonder enige herscholing.
Overzicht
It is the reason you can 'teach' a model on the fly just by showing it what you want.
Diepe duik
Normaal gesproken betekent het aanleren van een nieuwe taak aan een neuraal netwerk dat de gewichten ervan moeten worden bijgewerkt door middel van training. In-context leren is anders: je schrijft een paar voorbeelden direct in de prompt (de 'context'), en het model leidt het patroon af en past het toe op nieuwe invoer. Er verandert niets binnen het model; de voorbeelden sturen alleen maar de voorspelling van het volgende token. U hoort 'zero-shot' (alleen instructie), 'one-shot' (één voorbeeld) en 'few-shot' (meerdere voorbeelden). Dit gedrag werd in 2020 gepopulariseerd door GPT-3 en bleek een opkomend vermogen: kleine modellen kunnen het niet, maar voorbij een schaal van ongeveer 100 miljard parameters neemt de nauwkeurigheid bij aanwijzingen met een paar schoten scherp toe. Het model heeft effectief geleerd patronen te herkennen en voort te zetten tijdens de voortraining, zodat het die vaardigheid kan hergebruiken tijdens het concluderen.
Technisch inzicht
Uit onderzoek naar de interpreteerbaarheid is een groot deel van dit vermogen terug te voeren op 'inductiekoppen': aandachtscircuits die tijdens de training ontstaan en fuzzy prefix-matching uitvoeren: ze scannen terug naar waar een soortgelijk token verscheen en kopiëren vervolgens wat erop volgde. Dus wanneer uw prompt 'appel -> fruit, wortel -> groente' toont, komt het model overeen met de structuur en voorspelt het het juiste label voor het volgende item. Cruciaal is dat er geen gradiënten vloeien en dat er geen gewichten worden bijgewerkt bij gevolgtrekking. De voorbeelden geven eenvoudigweg een nieuwe vorm aan de activeringen die de kansverdeling van het volgende token voeden.
Strategische impact
Speed and scale
Taalworkflows kunnen sneller verlopen zonder dat dit ten koste gaat van de consistentie.
Access and reach
Het breidt de toegang uit naar meerdere talen en communicatiestijlen.
Clearer decisions
Teams kunnen meer tijd besteden aan beoordeling, terwijl automatisering de herhaling afhandelt.
De toekomst van in-context leren
Uitbreidende contextvensters (nu honderdduizenden tokens) duwen in-context leren richting 'many-shot'-regimes, waar tientallen of honderden voorbeelden kunnen wedijveren met de verfijning van sommige taken, zonder trainingskosten. Verwacht een nauwere integratie met het ophalen, zodat relevante voorbeelden automatisch worden opgehaald, en betere theorie over wanneer in-context leren mislukt of wordt afgeleid. Het blijft de snelle, goedkope manier om een model aan te passen, als aanvulling op – en niet ter vervanging van – verfijning voor stabiele taken met een hoog volume.
Implementatie in de echte wereld
Geef een chatbot drie voorbeelden van supporttickets en hun categorieën, en laat hem vervolgens een nieuw ticket op dezelfde manier classificeren
Een model toont twee voor/na-paren rommelige tekst, opnieuw opgemaakt in schone JSON, zodat de rest wordt geconverteerd
Plak een paar voorbeeldproductbeschrijvingen in de toon van uw merk, zodat nieuwe bij de stijl passen
Het demonstreren van een lastig wiskundig woordprobleem werkte stap voor stap, zodat het model vergelijkbare problemen oplost met hetzelfde redeneerformaat
Risico's en vangrails
Gehallucineerde feiten kunnen stilletjes rapporten binnendringen, stromen ondersteunen of onderzoeksresultaten opleveren.
Gevoeligheid voor prompts kan inconsistente resultaten opleveren voor vergelijkbare verzoeken.
Gevoelige tekstgegevens kunnen openbaar worden gemaakt als de toegangscontroles zwak zijn.
Implementatie routekaart
Definieer het uitvoerformaat, de toon en de kwaliteitsnormen vóór de implementatie.
Grondreacties met vertrouwde bronnen wanneer nauwkeurigheid belangrijk is.
Houd een menselijk controlepunt bij voor resultaten met een hoge inzet.
Houd faalpatronen bij en train prompts of workflows regelmatig opnieuw.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the In-Context Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Contextvensters
Frequently asked questions
What is In-Context Learning?
In-context leren is het verrassende vermogen van grote taalmodellen om een nieuwe taak op te pikken uit een paar voorbeelden die in de prompt zijn geplaatst, zonder enige herscholing. Het is de reden dat je een model meteen kunt 'leren' door hem te laten zien wat je wilt.
Wat verandert er fundamenteel binnen het model tijdens in-context leren?
In-context leren gebeurt volledig op basis van gevolgtrekking. De voorbeelden in de prompt vormen de activeringen van het model en de voorspellingen voor de volgende token, maar er worden geen gewichten bijgewerkt.
Waarom wordt in-context leren omschreven als een ‘opkomend’ vermogen?
Dit vermogen is zwak of afwezig in kleine modellen en stijgt steil zodra modellen een zeer grote schaal bereiken. Daarom wordt het opkomend genoemd.
Welk intern mechanisme wordt het meest geassocieerd met in-context leren in transformers?
Interpreteerbaarheidswerk identificeerde inductiekoppen – aandachtscircuits die ontdekken waar een soortgelijk token verscheen en kopiëren wat er daarna kwam – als een kernmotor van in-context leren.