GUIDA ALL'AI linguistica

Apprendimento nel contesto

L'apprendimento in contesto utilizza informazioni o dimostrazioni in modo da adattare la risposta di un modello linguistico senza aggiornarne i pesi.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina3 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro dell’apprendimento in contesto
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Fornisce un modo flessibile per mostrare un'attività o un formato, mentre i risultati dipendono dal modello e dalla richiesta piuttosto che da una soglia di apprendimento garantita.

Immersione profonda

La messa a punto ordinaria aggiorna i parametri di un modello attraverso l'addestramento. L'apprendimento in contesto inserisce invece informazioni e dimostrazioni nell'input fornito durante l'inferenza. I pesi del modello rimangono fissi mentre le sue attivazioni e previsioni interne dipendono da tale input. Un prompt zero-shot non fornisce dimostrazioni dell'attività, un prompt one-shot ne fornisce una e un prompt pochi-shot ne fornisce diverse. Ad esempio, le dimostrazioni possono mostrare messaggi di supporto abbinati alle etichette rimborso e fatturazione; è quindi possibile presentare un nuovo messaggio utilizzando la stessa struttura. Gli esempi suggeriscono il modello desiderato senza garantire una corretta classificazione. Il documento GPT-3 ha valutato le dimostrazioni delle attività fornite tramite testo senza aggiornamenti graduali e ha riportato miglioramenti su vasta scala in molte attività. Tali prove non stabiliscono una soglia universale di cento miliardi di parametri al di sotto della quale l’apprendimento contestuale è impossibile. Anche la progettazione tempestiva è importante. Lu e colleghi hanno dimostrato sensibilità all'ordine degli esempi con pochi scatti nelle impostazioni di classificazione valutate, quindi riordinare esempi identici può modificare i risultati senza modificare il peso del modello. Le dimostrazioni possono illustrare un formato o una relazione tra attività, ma sono comunque token di input che devono essere elaborati. L'aggiunta di più esempi utilizza una parte maggiore del budget del contesto supportato e può aumentare il lavoro per richiesta; non è automaticamente un miglioramento della qualità. Per un'applicazione stabile, confrontare la richiesta e la messa a punto utilizzando la qualità dell'attività, l'impegno di formazione, i costi delle richieste e le esigenze di manutenzione invece di presumere che un metodo sia sempre più economico.

Implementazione nel mondo reale

Fornire a un chatbot tre ticket di supporto di esempio e le relative categorie, quindi fargli classificare un nuovo ticket allo stesso modo

Mostra un modello di due coppie prima/dopo di testo disordinato riformattato in JSON pulito in modo da convertire il resto

Incolla un paio di descrizioni di prodotto di esempio nel tono del tuo marchio in modo che quelle nuove corrispondano allo stile

Dimostrare un complicato problema di matematica funzionato passo dopo passo in modo che il modello risolva problemi simili con lo stesso formato di ragionamento

Il futuro dell’apprendimento in contesto

Contesti supportati più ampi consentono di fornire più esempi, ma creano anche scelte sulla pertinenza e sul costo della richiesta. Il recupero può aiutare a selezionare esempi appropriati per l'attività corrente. Valutare le stesse richieste rappresentative in diversi progetti tempestivi e confrontare tali risultati con un'alternativa ottimizzata, se pertinente. Un rapporto utile indica il modello, gli esempi, l'ordinamento e l'attività di valutazione. Una maggiore durata dei prompt è una scelta di risorse piuttosto che una garanzia di apprendimento, e il comportamento a pochi colpi necessita ancora di controlli sugli input trattenuti.

Metterlo in pratica

Perché è importante

  • Velocità e scala. I flussi di lavoro linguistici possono muoversi più velocemente senza sacrificare la coerenza.
  • Accedere e raggiungere. Espande l'accesso attraverso lingue e stili di comunicazione.
  • Decisioni più chiare. I team possono dedicare più tempo al giudizio mentre l'automazione gestisce la ripetizione.

Attenzione

  • Fatti allucinati possono tranquillamente entrare nei rapporti, nei flussi di supporto o nei risultati della ricerca.
  • La sensibilità tempestiva può creare risultati incoerenti tra richieste simili.
  • I dati di testo sensibili potrebbero essere esposti se i controlli di accesso sono deboli.

Prossimi passi

  1. Definisci il formato di output, il tono e gli standard di qualità prima dell'implementazione.
  2. Risposte concrete con fonti attendibili ogni volta che la precisione è importante.
  3. Mantenere un checkpoint di revisione umana per i risultati ad alto rischio.
  4. Tieni traccia dei modelli di errore e riqualifica regolarmente le richieste o i flussi di lavoro.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Rispondi al quiz sull'apprendimento in contesto

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cos'è l'apprendimento in contesto?

L'apprendimento contestuale utilizza informazioni o dimostrazioni in modo da adattare la risposta di un modello linguistico senza aggiornarne i pesi. Fornisce un modo flessibile per mostrare un'attività o un formato, mentre i risultati dipendono dal modello e dalla richiesta piuttosto che da una soglia di apprendimento garantita.

Cosa cambia fondamentalmente all’interno del modello durante l’apprendimento nel contesto?

L’apprendimento nel contesto avviene interamente per inferenza. Gli esempi nel prompt modellano le attivazioni del modello e le previsioni del token successivo, ma non vengono aggiornati i pesi.

Cosa stabilisce il miglioramento riportato da GPT-3 nelle prestazioni con pochi scatti su scala?

Lo studio riporta i risultati delle attività e dei modelli, non una soglia di parametro universale per il comportamento nel contesto.

In che modo la ricerca iniziale dovrebbe essere correlata all'apprendimento ampio e contestuale?

Il lavoro citato distingue i risultati più forti nei piccoli modelli di sola attenzione da prove preliminari o indirette più ampie.

In che modo un'applicazione dovrebbe confrontare i suggerimenti ripetuti di pochi scatti con la messa a punto?

Un utilizzo stabile e ad alto volume può motivare il confronto, ma i costi e la qualità dipendono dalla configurazione effettiva.

Una richiesta di ticket con alcune inquadrature mostra solo le etichette di rimborso e fatturazione. Cosa forniscono questi esempi per il prossimo biglietto?

Le dimostrazioni mostrano un modello input-output desiderato, mentre la correttezza necessita ancora di valutazione.