Il prossimoProssima guida
Finestre di contesto
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
L'apprendimento in contesto utilizza informazioni o dimostrazioni in modo da adattare la risposta di un modello linguistico senza aggiornarne i pesi.
Ascolta questa guidaNarrato dall'IA · ~3 min
Fornisce un modo flessibile per mostrare un'attività o un formato, mentre i risultati dipendono dal modello e dalla richiesta piuttosto che da una soglia di apprendimento garantita.
La messa a punto ordinaria aggiorna i parametri di un modello attraverso l'addestramento. L'apprendimento in contesto inserisce invece informazioni e dimostrazioni nell'input fornito durante l'inferenza. I pesi del modello rimangono fissi mentre le sue attivazioni e previsioni interne dipendono da tale input. Un prompt zero-shot non fornisce dimostrazioni dell'attività, un prompt one-shot ne fornisce una e un prompt pochi-shot ne fornisce diverse. Ad esempio, le dimostrazioni possono mostrare messaggi di supporto abbinati alle etichette rimborso e fatturazione; è quindi possibile presentare un nuovo messaggio utilizzando la stessa struttura. Gli esempi suggeriscono il modello desiderato senza garantire una corretta classificazione. Il documento GPT-3 ha valutato le dimostrazioni delle attività fornite tramite testo senza aggiornamenti graduali e ha riportato miglioramenti su vasta scala in molte attività. Tali prove non stabiliscono una soglia universale di cento miliardi di parametri al di sotto della quale l’apprendimento contestuale è impossibile. Anche la progettazione tempestiva è importante. Lu e colleghi hanno dimostrato sensibilità all'ordine degli esempi con pochi scatti nelle impostazioni di classificazione valutate, quindi riordinare esempi identici può modificare i risultati senza modificare il peso del modello. Le dimostrazioni possono illustrare un formato o una relazione tra attività, ma sono comunque token di input che devono essere elaborati. L'aggiunta di più esempi utilizza una parte maggiore del budget del contesto supportato e può aumentare il lavoro per richiesta; non è automaticamente un miglioramento della qualità. Per un'applicazione stabile, confrontare la richiesta e la messa a punto utilizzando la qualità dell'attività, l'impegno di formazione, i costi delle richieste e le esigenze di manutenzione invece di presumere che un metodo sia sempre più economico.
Fornire a un chatbot tre ticket di supporto di esempio e le relative categorie, quindi fargli classificare un nuovo ticket allo stesso modo
Mostra un modello di due coppie prima/dopo di testo disordinato riformattato in JSON pulito in modo da convertire il resto
Incolla un paio di descrizioni di prodotto di esempio nel tono del tuo marchio in modo che quelle nuove corrispondano allo stile
Dimostrare un complicato problema di matematica funzionato passo dopo passo in modo che il modello risolva problemi simili con lo stesso formato di ragionamento
Contesti supportati più ampi consentono di fornire più esempi, ma creano anche scelte sulla pertinenza e sul costo della richiesta. Il recupero può aiutare a selezionare esempi appropriati per l'attività corrente. Valutare le stesse richieste rappresentative in diversi progetti tempestivi e confrontare tali risultati con un'alternativa ottimizzata, se pertinente. Un rapporto utile indica il modello, gli esempi, l'ordinamento e l'attività di valutazione. Una maggiore durata dei prompt è una scelta di risorse piuttosto che una garanzia di apprendimento, e il comportamento a pochi colpi necessita ancora di controlli sugli input trattenuti.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'apprendimento contestuale utilizza informazioni o dimostrazioni in modo da adattare la risposta di un modello linguistico senza aggiornarne i pesi. Fornisce un modo flessibile per mostrare un'attività o un formato, mentre i risultati dipendono dal modello e dalla richiesta piuttosto che da una soglia di apprendimento garantita.
L’apprendimento nel contesto avviene interamente per inferenza. Gli esempi nel prompt modellano le attivazioni del modello e le previsioni del token successivo, ma non vengono aggiornati i pesi.
Lo studio riporta i risultati delle attività e dei modelli, non una soglia di parametro universale per il comportamento nel contesto.
Il lavoro citato distingue i risultati più forti nei piccoli modelli di sola attenzione da prove preliminari o indirette più ampie.
Un utilizzo stabile e ad alto volume può motivare il confronto, ma i costi e la qualità dipendono dalla configurazione effettiva.
Le dimostrazioni mostrano un modello input-output desiderato, mentre la correttezza necessita ancora di valutazione.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Finestre di contesto
Intelligenza artificiale linguistica