Kontekstlæring
Kontekstlæring er den overraskende evnen store språkmodeller har til å plukke opp en ny oppgave fra noen få eksempler plassert i ledeteksten, uten omskolering.
Oversikt
It is the reason you can 'teach' a model on the fly just by showing it what you want.
Dypdykk
Normalt betyr det å lære et nevralt nettverk en ny oppgave å oppdatere vektene gjennom trening. Innlæring i kontekst er annerledes: du skriver noen få eksempler direkte i ledeteksten («konteksten»), og modellen utleder mønsteret og bruker det på en ny inngang. Ingenting inne i modellen endres; eksemplene styrer bare neste-token-prediksjonen. Du vil høre "zero-shot" (kun instruksjoner), "one-shot" (ett eksempel) og "få shot" (flere eksempler). Denne oppførselen ble popularisert av GPT-3 i 2020 og viste seg å være en fremvoksende evne: bittesmå modeller kan ikke gjøre det, men forbi en skala på omtrent 100 milliarder parametere, stiger nøyaktigheten på spørsmål med få skudd kraftig. Modellen lærte effektivt å gjenkjenne og fortsette mønstre under fortrening, slik at den kan gjenbruke den ferdigheten på slutningstidspunktet.
Teknisk innsikt
Tolkbarhetsforskning sporet mye av denne evnen til "induksjonshoder" - oppmerksomhetskretser som dukker opp under trening og utfører uklar prefiks-matching: de skanner tilbake etter hvor et lignende symbol dukket opp, og kopierer deretter det som fulgte det. Så når ledeteksten viser "eple -> frukt, gulrot -> grønnsak", samsvarer modellen med strukturen og forutsier riktig etikett for neste element. Det er avgjørende at ingen gradienter flyter og ingen vekter oppdateres ved slutning. Eksemplene omformer ganske enkelt aktiveringene som mater sannsynlighetsfordelingen for neste token.
Strategisk innvirkning
Speed and scale
Språkarbeidsflyter kan bevege seg raskere uten å ofre konsistens.
Access and reach
Det utvider tilgangen på tvers av språk og kommunikasjonsstiler.
Tydeligere avgjørelser
Lag kan bruke mer tid på dømmekraft mens automatisering håndterer repetisjon.
Fremtiden for læring i kontekst
Utvidende kontekstvinduer (nå hundretusenvis av tokens) presser kontekstlæring mot «mange-skudd»-regimer, der dusinvis eller hundrevis av eksempler kan konkurrere med finjustering for enkelte oppgaver, uten treningskostnader. Forvent tettere integrering med gjenfinning, slik at relevante eksempler hentes automatisk, og bedre teori om når læring i kontekst mislykkes eller blir distrahert. Det vil fortsatt være den raske, billige måten å tilpasse en modell på, som komplementerer – ikke erstatter – finjustering for stabile oppgaver med høyt volum.
Real-World Implementering
Å gi en chatbot tre eksempler på støttebilletter og deres kategorier, og deretter få den til å klassifisere en ny billett på samme måte
Viser en modell to før/etter-par med rotete tekster formatert om til ren JSON slik at den konverterer resten
Lim inn et par eksempler på produktbeskrivelser i merkevarens tone slik at nye matcher stilen
Å demonstrere et vanskelig matematisk ordproblem fungerte trinnvis slik at modellen løser lignende problemer med samme resonnementformat
Risikoer og rekkverk
Hallusinerte fakta kan stille inn rapporter, støttestrømmer eller forskningsresultater.
Umiddelbar følsomhet kan skape inkonsistente resultater på tvers av lignende forespørsler.
Sensitive tekstdata kan bli eksponert hvis tilgangskontrollene er svake.
Veikart for implementering
Definer utdataformat, tone og kvalitetsstandarder før utrulling.
Bakgrunnssvar med pålitelige kilder når nøyaktighet er viktig.
Hold et sjekkpunkt for menneskelig vurdering for utganger med høy innsats.
Spor feilmønstre og tren opp meldinger eller arbeidsflyter regelmessig.
Fortsett å utforske
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the In-Context Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Neste guide
Kontekst Windows
Ofte stilte spørsmål
What is In-Context Learning?
Kontekstlæring er den overraskende evnen store språkmodeller har til å plukke opp en ny oppgave fra noen få eksempler plassert i ledeteksten, uten omskolering. Det er grunnen til at du kan "lære" en modell på farten bare ved å vise den hva du vil.
Hva endres fundamentalt inne i modellen under kontekstlæring?
Innlæring i kontekst skjer utelukkende ved slutning. Eksemplene i ledeteksten former modellens aktiveringer og neste token-prediksjoner, men ingen vekter oppdateres.
Hvorfor beskrives læring i kontekst som en "emergent" evne?
Evnen er svak eller fraværende i små modeller og klatrer bratt når modellene når veldig stor skala, og derfor kalles den emergent.
Hvilken intern mekanisme er mest assosiert med kontekstlæring i transformatorer?
Tolkbarhetsarbeid identifiserte induksjonshoder - oppmerksomhetskretser som finner hvor et lignende token dukket opp og kopierer det som kom etterpå - som en kjernedriver for læring i kontekst.