GUIDA TECNICA

Pre-allenamento continuo vs messa a punto

Il pre-addestramento continuo continua ad addestrare un modello base con lo stesso obiettivo del token successivo su grandi quantità di testo di dominio non elaborato, mentre l'ottimizzazione dei treni avviene su un insieme più piccolo e curato di esempi etichettati, come coppie di istruzioni e risposte, per modellare il comportamento.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro della formazione preliminare continua rispetto alla messa a punto
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

La scelta è importante perché la prima modifica principalmente ciò che un modello conosce su un dominio e sul suo linguaggio, la seconda modifica principalmente il modo in cui risponde e i dati e il calcolo necessari differiscono notevolmente.

Immersione profonda

Il preaddestramento continuo, chiamato anche preaddestramento adattativo del dominio, riprende da dove si era interrotto il preaddestramento originale. Il modello vede il testo grezzo proveniente dal dominio di destinazione, come documenti medici, codice sorgente o documenti legali, e impara a prevedere ogni token successivo, esattamente come nel pre-training. Gururangan e colleghi hanno mostrato nel documento del 2020 Don't Stop Pretraining che una seconda fase di preformazione sul testo interno al dominio ha migliorato RoBERTa sui compiti nei domini biomedico, informatico, delle notizie e delle recensioni. Di solito necessita di grandi volumi di testo, spesso miliardi di token e di un addestramento completo dei parametri, quindi costa molto di più della messa a punto. Il fine tuning, solitamente supervisionato, utilizza coppie di prompt e risposta. La perdita viene generalmente calcolata solo sui token di risposta, quindi il modello apprende cosa produrre dato un input. I set di dati vanno da poche migliaia a centinaia di migliaia di esempi e metodi efficienti in termini di parametri come LoRA lo rendono accessibile su hardware modesto. È bravo a insegnare il formato, lo stile, il comportamento nei compiti e il seguire le istruzioni. Spesso seguono metodi preferenziali come RLHF o DPO. Una pipeline comune è il modello base, quindi la formazione preliminare continua, quindi la messa a punto supervisionata, quindi l'ottimizzazione delle preferenze. La continua formazione preliminare comporta un rischio noto: l’oblio catastrofico, in cui le competenze generali si degradano. Applicato a un modello di chat, può anche erodere il rispetto delle istruzioni, quindi i team spesso iniziano da un modello base e rimettono a punto le istruzioni in seguito. Emergono due idee sbagliate. Innanzitutto, la messa a punto non è un modo affidabile per aggiungere molti nuovi fatti; ricerche come Gekhman e colleghi (2024) hanno scoperto che i modelli apprendono nuovi fatti lentamente attraverso la messa a punto e che così facendo possono aumentare le allucinazioni. Per fatti in rapida evoluzione, il recupero è spesso lo strumento migliore. In secondo luogo, BloombergGPT viene talvolta citato come formazione preliminare continua, ma è stato addestrato da zero su un mix di dati finanziari e generali. Una regola approssimativa: utilizzare una formazione preliminare continua quando il linguaggio del dominio differisce molto dal testo web e i dati senza etichetta sono abbondanti; utilizzare la regolazione fine quando è necessario un comportamento o un formato.

Implementazione nel mondo reale

Il codice Llama è stato creato continuando ad addestrare Llama 2 su un ampio corpus di codice, e alcune delle sue varianti sono state poi ulteriormente addestrate per Python e per seguire le istruzioni.

Una società di tecnologia legale con milioni di contratti e documenti senza etichetta continua a eseguire la formazione preliminare per migliorare la gestione del linguaggio legale da parte del modello, quindi si perfeziona su alcune migliaia di esempi di estrazione di clausole annotate.

Una banca vuole un chatbot che risponda in un formato JSON fisso con un tono prestabilito; Una messa a punto supervisionata, o anche un’attenta sollecitazione, è sufficiente perché il modello conosce già il contenuto generale.

I modelli Meditron dell'EPFL hanno adattato Llama 2 alla medicina attraverso una continua formazione preliminare su documenti medici e linee guida cliniche prima di qualsiasi messa a punto specifica per l'attività.

Il futuro della formazione preliminare continua rispetto alla messa a punto

Il rilascio costante di modelli a base aperta capaci ha reso pratica la continua formazione preliminare per un numero maggiore di organizzazioni, sebbene richieda ancora dati e calcoli sostanziali. Le aree di ricerca attive includono la riduzione dell'oblio, la riduzione dei costi di adattamento dei domini e la combinazione di pesi provenienti da modelli addestrati separatamente. In pratica, molti team continueranno ad abbinare una leggera messa a punto con il recupero piuttosto che una formazione preliminare continua e completa, riservando l'opzione più pesante per i domini la cui lingua è scarsamente coperta dai dati web generali.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Continued Pretraining vs Fine-Tuning quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Cos'è il pre-addestramento continuo e la messa a punto?

Il pre-addestramento continuo continua ad addestrare un modello base con lo stesso obiettivo del token successivo su grandi quantità di testo di dominio non elaborato, mentre l'ottimizzazione dei treni avviene su un insieme più piccolo e curato di esempi etichettati, come coppie di istruzioni e risposte, per modellare il comportamento. La scelta è importante perché la prima modifica principalmente ciò che un modello conosce su un dominio e sul suo linguaggio, la seconda modifica principalmente il modo in cui risponde e i dati e il calcolo necessari differiscono notevolmente.

Qual è la principale differenza nei dati tra la formazione preliminare continua e il perfezionamento supervisionato?

Il pre-addestramento continuo prevede i token successivi sul testo non elaborato, mentre l'ottimizzazione apprende dalle coppie di prompt e risposte.

Nella regolazione puntuale supervisionata, dove viene solitamente calcolata la perdita?

Mascherare il prompt significa che il modello impara cosa produrre dato un input, non riprodurre l'input.

Cos'è il replay nel pre-allenamento continuo?

L'inclusione di dati generali aiuta a evitare che le competenze generali diminuiscano mentre il modello apprende il dominio.

Come è stato costruito il Codice Llama?

Il codice Llama è un esempio di pre-addestramento continuo, con alcune varianti ulteriormente addestrate per Python e istruzioni.

Per i fatti che cambiano spesso, quale approccio suggerisce la guida è spesso migliore della messa a punto?

La messa a punto apprende lentamente nuovi fatti e può aumentare le allucinazioni, quindi il recupero è spesso migliore per modificare le informazioni.