Apprendimento nel contesto
L’apprendimento in contesto è la sorprendente capacità dei modelli linguistici di grandi dimensioni di cogliere un nuovo compito da alcuni esempi inseriti nel prompt, senza alcuna riqualificazione.
Panoramica
It is the reason you can 'teach' a model on the fly just by showing it what you want.
Immersione profonda
Normalmente, insegnare a una rete neurale un nuovo compito significa aggiornarne i pesi attraverso l'addestramento. L'apprendimento nel contesto è diverso: scrivi alcuni esempi direttamente nel prompt (il "contesto") e il modello deduce il modello e lo applica a un nuovo input. Non cambia nulla all'interno del modello; gli esempi guidano semplicemente la previsione del token successivo. Sentirai "zero-shot" (solo istruzioni), "one-shot" (un esempio) e "few-shot" (diversi esempi). Questo comportamento è stato reso popolare da GPT-3 nel 2020 e si è rivelato un'abilità emergente: i modelli minuscoli non possono farlo, ma oltre una scala di circa 100 miliardi di parametri, la precisione su istruzioni di pochi colpi aumenta notevolmente. Il modello ha effettivamente imparato a riconoscere e continuare i modelli durante il pre-addestramento, in modo da poter riutilizzare tale abilità al momento dell'inferenza.
Approfondimento tecnico
La ricerca sull'interpretabilità ha fatto risalire gran parte di questa capacità alle "teste di induzione", circuiti di attenzione che emergono durante l'addestramento ed eseguono corrispondenze confuse di prefissi: cercano il punto in cui è apparso un token simile, quindi copiano ciò che lo segue. Pertanto, quando il prompt mostra "mela -> frutta, carota -> verdura", il modello corrisponde alla struttura e prevede l'etichetta giusta per l'elemento successivo. Fondamentalmente, nessun flusso di gradienti e nessun aggiornamento dei pesi durante l'inferenza. Gli esempi rimodellano semplicemente le attivazioni che alimentano la distribuzione di probabilità del token successivo.
Impatto strategico
Velocità e scala
I flussi di lavoro linguistici possono muoversi più velocemente senza sacrificare la coerenza.
Accedere e raggiungere
Espande l'accesso attraverso lingue e stili di comunicazione.
Decisioni più chiare
I team possono dedicare più tempo al giudizio mentre l'automazione gestisce la ripetizione.
Il futuro dell’apprendimento in contesto
Le finestre di contesto in espansione (ora centinaia di migliaia di token) spingono l’apprendimento nel contesto verso regimi “a più riprese”, dove dozzine o centinaia di esempi possono rivaleggiare con la messa a punto di alcuni compiti, senza costi di formazione. Aspettatevi una più stretta integrazione con il recupero, in modo che gli esempi rilevanti vengano recuperati automaticamente, e una migliore teoria su quando l'apprendimento nel contesto fallisce o viene distratto. Rimarrà il modo veloce ed economico per adattare un modello, integrando – e non sostituendo – la messa a punto per attività stabili e ad alto volume.
Implementazione nel mondo reale
Fornire a un chatbot tre ticket di supporto di esempio e le relative categorie, quindi fargli classificare un nuovo ticket allo stesso modo
Mostra un modello di due coppie prima/dopo di testo disordinato riformattato in JSON pulito in modo da convertire il resto
Incolla un paio di descrizioni di prodotto di esempio nel tono del tuo marchio in modo che quelle nuove corrispondano allo stile
Dimostrare un complicato problema di matematica funzionato passo dopo passo in modo che il modello risolva problemi simili con lo stesso formato di ragionamento
Rischi e guardrail
Fatti allucinati possono tranquillamente entrare nei rapporti, nei flussi di supporto o nei risultati della ricerca.
La sensibilità tempestiva può creare risultati incoerenti tra richieste simili.
I dati di testo sensibili potrebbero essere esposti se i controlli di accesso sono deboli.
Tabella di marcia per l'implementazione
Definisci il formato di output, il tono e gli standard di qualità prima dell'implementazione.
Risposte concrete con fonti attendibili ogni volta che la precisione è importante.
Mantenere un checkpoint di revisione umana per i risultati ad alto rischio.
Tieni traccia dei modelli di errore e riqualifica regolarmente le richieste o i flussi di lavoro.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the In-Context Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
Finestre di contesto
Domande frequenti
What is In-Context Learning?
L’apprendimento in contesto è la sorprendente capacità dei modelli linguistici di grandi dimensioni di cogliere un nuovo compito da alcuni esempi inseriti nel prompt, senza alcuna riqualificazione. È il motivo per cui puoi "insegnare" un modello al volo semplicemente mostrandogli ciò che desideri.
Cosa cambia fondamentalmente all’interno del modello durante l’apprendimento nel contesto?
L’apprendimento nel contesto avviene interamente per inferenza. Gli esempi nel prompt modellano le attivazioni del modello e le previsioni del token successivo, ma non vengono aggiornati i pesi.
Perché l'apprendimento contestuale viene descritto come un'abilità “emergente”?
L'abilità è debole o assente nei modelli piccoli e aumenta rapidamente una volta che i modelli raggiungono una scala molto ampia, motivo per cui viene chiamata emergente.
Quale meccanismo interno è maggiormente associato all’apprendimento in contesto nei trasformatori?
Il lavoro sull’interpretabilità ha identificato le teste di induzione – circuiti di attenzione che scoprono dove è apparso un token simile e copiano ciò che è accaduto dopo – come motore principale dell’apprendimento nel contesto.