In-Context Learning
Inlärning i sammanhang är den överraskande förmågan hos stora språkmodeller att plocka upp en ny uppgift från ett fåtal exempel placerade i prompten, utan någon omskolning.
Översikt
It is the reason you can 'teach' a model on the fly just by showing it what you want.
Djupdykning
Normalt innebär att lära ett neuralt nätverk en ny uppgift att uppdatera dess vikter genom träning. Inlärning i sammanhang är annorlunda: du skriver några exempel direkt i prompten ('sammanhanget'), och modellen härleder mönstret och tillämpar det på en ny ingång. Ingenting inuti modellen förändras; exemplen styr bara nästa token-förutsägelse. Du kommer att höra 'zero-shot' (endast instruktioner), 'one-shot' (ett exempel) och 'få shot' (flera exempel). Detta beteende populariserades av GPT-3 2020 och visade sig vara en framväxande förmåga: små modeller kan inte göra det, men förbi en skala på ungefär 100 miljarder parametrar stiger noggrannheten i få skotts uppmaningar kraftigt. Modellen lärde sig effektivt att känna igen och fortsätta mönster under förträning, så att den kan återanvända den färdigheten vid slutledningstidpunkten.
Teknisk insikt
Tolkbarhetsforskning spårade mycket av denna förmåga till "induktionshuvuden" - uppmärksamhetskretsar som dyker upp under träning och utför suddig prefixmatchning: de söker tillbaka efter var en liknande token dök upp och kopierar sedan vad som följde den. Så när din prompt visar "äpple -> frukt, morot -> grönsak", matchar modellen strukturen och förutsäger rätt etikett för nästa föremål. Avgörande är att inga gradienter flyter och inga vikter uppdateras vid slutledning. Exemplen omformar helt enkelt aktiveringarna som matar nästa tokens sannolikhetsfördelning.
Strategisk inverkan
Speed and scale
Språkarbetsflöden kan gå snabbare utan att offra konsekvens.
Access and reach
Det utökar åtkomsten över språk och kommunikationsstilar.
Clearer decisions
Team kan lägga mer tid på bedömning medan automatisering hanterar upprepning.
Framtiden för In-Context Learning
Expanderande sammanhangsfönster (nu hundratusentals tokens) driver inlärning i sammanhanget mot "many-shot"-regimer, där dussintals eller hundratals exempel kan konkurrera med finjustering för vissa uppgifter, utan utbildningskostnad. Förvänta dig tätare integration med hämtning, så relevanta exempel hämtas automatiskt, och bättre teori om när inlärning i sammanhanget misslyckas eller blir distraherad. Det kommer att förbli det snabba, billiga sättet att anpassa en modell, som kompletterar – inte ersätter – finjusteringar för stabila uppgifter med stora volymer.
Real-World Implementation
Att ge en chatbot tre exempel på supportbiljetter och deras kategorier och sedan låta den klassificera en ny biljett på samma sätt
Visar en modell två före/efter par med rörig text omformaterad till ren JSON så att den konverterar resten
Klistra in ett par exempel på produktbeskrivningar i ditt varumärkes ton så att nya matchar stilen
Att demonstrera ett knepigt matematiskt ordproblem arbetade steg för steg så att modellen löser liknande problem med samma resonemangsformat
Risker & skyddsräcken
Hallucinerade fakta kan tyst lägga in rapporter, stödflöden eller forskningsresultat.
Snabb känslighet kan skapa inkonsekventa resultat över liknande förfrågningar.
Känsliga textdata kan exponeras om åtkomstkontrollerna är svaga.
Färdplan för genomförande
Definiera utdataformat, ton och kvalitetsstandarder innan lansering.
Marksvar med pålitliga källor närhelst noggrannhet är viktig.
Håll en kontrollpunkt för mänsklig granskning för höga insatser.
Spåra felmönster och träna om uppmaningar eller arbetsflöden regelbundet.
Fortsätt utforska
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the In-Context Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Kontext Windows
Frequently asked questions
What is In-Context Learning?
Inlärning i sammanhang är den överraskande förmågan hos stora språkmodeller att plocka upp en ny uppgift från ett fåtal exempel placerade i prompten, utan någon omskolning. Det är anledningen till att du kan "lära" en modell i farten bara genom att visa den vad du vill.
Vad förändras i grunden i modellen under inlärning i sammanhang?
Inlärning i sammanhang sker helt och hållet vid slutledning. Exemplen i prompten formar modellens aktiveringar och nästa token-förutsägelser, men inga vikter uppdateras.
Varför beskrivs inlärning i sammanhang som en "emergent" förmåga?
Förmågan är svag eller saknas i små modeller och klättrar brant när modeller når mycket stor skala, varför det kallas emergent.
Vilken intern mekanism är mest associerad med inlärning i sammanhang i transformatorer?
Tolkningsarbete identifierade induktionshuvuden - uppmärksamhetskretsar som hittar var en liknande token dök upp och kopierar vad som kom därefter - som en kärndrivande drivkraft för inlärning i sammanhang.