Il prossimoProssima guida
Apprendimento profondo bayesiano
Fondamenti
GUIDA AI FONDAMENTALI
Meta-learning studies how model parameters or representations can adapt to new tasks from limited examples.
Ascolta questa guidaNarrato dall'IA · ~2 min
MAML, Prototypical Networks and Reptile are distinct research methods; in-context learning is a related few-shot behavior evaluated in large language models, not the same training procedure.
MAML learns an initialization that can adapt to a new task through a small number of gradient steps. Prototypical Networks form class prototypes in an embedding space and classify by distance. Reptile is a first-order algorithm that moves the initialization toward parameters learned on sampled tasks. Brown et al.’s GPT-3 paper evaluates in-context few-shot learning by placing demonstrations in the prompt without gradient updates. This is a behavioral analogy to fast adaptation, not a claim that GPT-3 was trained with the same meta-learning algorithm.
Splitting meta-training into tasks with support and query examples.
Using MAML’s task-specific inner loop to adapt an initialization.
Classifying examples by distances to Prototypical Network class centers.
Comparing Reptile’s first-order update with GPT-3’s in-context demonstrations, which use no gradient updates at inference.
Compare methods on held-out tasks, specifying support/query splits, adaptation steps and evaluation conditions. The cited papers support these algorithms and experiments, not broad product forecasts or claims about deployment in robotics, recommendation or drug discovery.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Meta-learning studies how model parameters or representations can adapt to new tasks from limited examples. MAML, Prototypical Networks and Reptile are distinct research methods; in-context learning is a related few-shot behavior evaluated in large language models, not the same training procedure.
Meta-learning si allena in molte attività in modo che un modello possa adattarsi rapidamente a una nuova attività con solo una manciata di esempi.
Ogni attività fornisce un piccolo set di supporto da cui adattarsi e un set di query per valutare l'adattamento, ripetuto in molte attività.
MAML trova i parametri iniziali che, dopo solo pochi passaggi di gradiente in una nuova attività, producono ottime prestazioni.
Le reti prototipiche calcolano un prototipo (incorporamento medio) per classe e assegnano ciascuna query al prototipo più vicino.
Il ciclo interno esegue l'adattamento specifico dell'attività, mentre il ciclo esterno aggiorna i parametri per una migliore adattabilità complessiva.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Apprendimento profondo bayesiano
Fondamenti