Il prossimoProssima guida
Trasferire l'apprendimento
Fondamenti
GUIDA AI FONDAMENTALI
I metodi a pochi scatti mirano a utilizzare un piccolo set di supporto etichettato o alcune dimostrazioni per un'attività.
Ascolta questa guidaNarrato dall'IA · ~3 min
Il suggerimento contestuale e l'apprendimento basato su metriche raggiungono questo obiettivo attraverso procedure diverse e nessuno dei due garantisce un adattamento riuscito da eventuali esempi arbitrari.
Il metodo Few-shot viene utilizzato in metodi che forniscono solo un numero limitato di esempi di attività, spesso dopo un sostanziale apprendimento preliminare. In un episodio di classificazione K-shot a N vie, N conta le classi e K conta gli esempi di supporto etichettati per classe. Tale notazione descrive i dati di supporto dell’attività piuttosto che il corpus totale di pre-addestramento del modello. Il prompt a pochi colpi nel contesto fornisce dimostrazioni nell'input di un modello già addestrato. Lo studio del modello linguistico citato valuta questa modalità senza aggiornamenti del gradiente specifici dell'attività durante il prompt; gli esempi condizionano la previsione anziché riscrivere i pesi. La messa a punto su un set di dati di piccole dimensioni è una procedura diversa anche quando entrambi sono chiamati adattamenti a pochi scatti. Una formazione precedente può rendere rappresentazioni o modelli utili per un nuovo compito, ma alcuni esempi non garantiscono che il modello deduca le etichette o le regole previste. Prototipici Networks studia un'alternativa basata sulla metrica. Un incorporamento appreso mappa gli elementi di supporto etichettati in uno spazio e ogni prototipo di classe è la media dei suoi incorporamenti di supporto. Una query viene classificata utilizzando le distanze da tali prototipi. Se una classe ha vettori di supporto (0,0) e (2,0), il suo prototipo di media aritmetica è (1,0). Gli elementi di supporto utilizzati per costruire il prototipo e gli elementi di query utilizzati per valutare la classificazione hanno ruoli diversi. Gli episodi di formazione nel documento mantengono separati i set campionati. Per i modelli contestualizzati, anche l'ordine della dimostrazione può influenzare i risultati: i suggerimenti ordinati in modo fantastico studiano grandi variazioni tra le permutazioni in particolari configurazioni di classificazione del testo. La scelta di un ordine favorevole non deve essere confusa con la prova di generalizzazione su un insieme di valutazioni intatto.
Fornire esempi di ticket etichettati in un prompt prima di una nuova query sul ticket.
Dimostrazione di un formato di output con poche coppie input-output.
Calcolo di un prototipo di classe da incorporamenti di supporto etichettati.
Confronto degli ordini tempestivi su un set di valutazione separato senza modificare gli esempi.
Le valutazioni di tipo "low-shot" possono confrontare esempi di supporto rappresentativi, ordinamento, recupero di dimostrazioni e funzioni a distanza apprese in ruoli di dati chiaramente separati. Ulteriori dimostrazioni possono fornire informazioni utili ma possono anche modificare la lunghezza del prompt o introdurre modelli fuorvianti. Gli esperimenti dovrebbero registrare se i pesi sono stati aggiornati e se le etichette del set di query finale hanno influenzato la selezione. Domini diversi possono richiedere rappresentazioni o esempi precedenti diversi. Testare l'attività prevista e le query non elaborate fornisce un risultato più significativo rispetto al presupposto che un piccolo insieme etichettato consenta automaticamente un adattamento istantaneo o riproduca l'apprendimento umano.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
I metodi a pochi scatti mirano a utilizzare un piccolo set di supporto etichettato o alcune dimostrazioni per un'attività. Il suggerimento contestuale e l'apprendimento basato su metriche raggiungono questo obiettivo attraverso procedure diverse e nessuno dei due garantisce un adattamento riuscito da eventuali esempi arbitrari.
N conta le classi; K conta gli esempi per ciascuna classe nel set di supporto specificato.
L'apprendimento in contesto non esegue aggiornamenti del gradiente; gli esempi nel prompt guidano semplicemente le previsioni del token successivo del modello.
Zero-shot fornisce solo istruzioni senza esempi, mentre little-shot include una manciata di dimostrazioni.
Il vantaggio dipende dal modello, dall'attività e dagli esempi precedenti; il successo deve essere misurato.
Le reti prototipiche formano un prototipo (incorporamento medio) per classe e classificano nuovi punti in base al prototipo più vicino nello spazio appreso.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Trasferire l'apprendimento
Fondamenti