Il prossimoProssima guida
Ottimizzazione vs RAG vs Prompt
Intelligenza artificiale linguistica
GUIDA TECNICA
Il pre-addestramento continuo continua ad addestrare un modello base con lo stesso obiettivo del token successivo su grandi quantità di testo di dominio non elaborato, mentre l'ottimizzazione dei treni avviene su un insieme più piccolo e curato di esempi etichettati, come coppie di istruzioni e risposte, per modellare il comportamento.
Ascolta questa guidaNarrato dall'IA · ~3 min
La scelta è importante perché la prima modifica principalmente ciò che un modello conosce su un dominio e sul suo linguaggio, la seconda modifica principalmente il modo in cui risponde e i dati e il calcolo necessari differiscono notevolmente.
Il preaddestramento continuo, chiamato anche preaddestramento adattativo del dominio, riprende da dove si era interrotto il preaddestramento originale. Il modello vede il testo grezzo proveniente dal dominio di destinazione, come documenti medici, codice sorgente o documenti legali, e impara a prevedere ogni token successivo, esattamente come nel pre-training. Gururangan e colleghi hanno mostrato nel documento del 2020 Don't Stop Pretraining che una seconda fase di preformazione sul testo interno al dominio ha migliorato RoBERTa sui compiti nei domini biomedico, informatico, delle notizie e delle recensioni. Di solito necessita di grandi volumi di testo, spesso miliardi di token e di un addestramento completo dei parametri, quindi costa molto di più della messa a punto. Il fine tuning, solitamente supervisionato, utilizza coppie di prompt e risposta. La perdita viene generalmente calcolata solo sui token di risposta, quindi il modello apprende cosa produrre dato un input. I set di dati vanno da poche migliaia a centinaia di migliaia di esempi e metodi efficienti in termini di parametri come LoRA lo rendono accessibile su hardware modesto. È bravo a insegnare il formato, lo stile, il comportamento nei compiti e il seguire le istruzioni. Spesso seguono metodi preferenziali come RLHF o DPO. Una pipeline comune è il modello base, quindi la formazione preliminare continua, quindi la messa a punto supervisionata, quindi l'ottimizzazione delle preferenze. La continua formazione preliminare comporta un rischio noto: l’oblio catastrofico, in cui le competenze generali si degradano. Applicato a un modello di chat, può anche erodere il rispetto delle istruzioni, quindi i team spesso iniziano da un modello base e rimettono a punto le istruzioni in seguito. Emergono due idee sbagliate. Innanzitutto, la messa a punto non è un modo affidabile per aggiungere molti nuovi fatti; ricerche come Gekhman e colleghi (2024) hanno scoperto che i modelli apprendono nuovi fatti lentamente attraverso la messa a punto e che così facendo possono aumentare le allucinazioni. Per fatti in rapida evoluzione, il recupero è spesso lo strumento migliore. In secondo luogo, BloombergGPT viene talvolta citato come formazione preliminare continua, ma è stato addestrato da zero su un mix di dati finanziari e generali. Una regola approssimativa: utilizzare una formazione preliminare continua quando il linguaggio del dominio differisce molto dal testo web e i dati senza etichetta sono abbondanti; utilizzare la regolazione fine quando è necessario un comportamento o un formato.
Il codice Llama è stato creato continuando ad addestrare Llama 2 su un ampio corpus di codice, e alcune delle sue varianti sono state poi ulteriormente addestrate per Python e per seguire le istruzioni.
Una società di tecnologia legale con milioni di contratti e documenti senza etichetta continua a eseguire la formazione preliminare per migliorare la gestione del linguaggio legale da parte del modello, quindi si perfeziona su alcune migliaia di esempi di estrazione di clausole annotate.
Una banca vuole un chatbot che risponda in un formato JSON fisso con un tono prestabilito; Una messa a punto supervisionata, o anche un’attenta sollecitazione, è sufficiente perché il modello conosce già il contenuto generale.
I modelli Meditron dell'EPFL hanno adattato Llama 2 alla medicina attraverso una continua formazione preliminare su documenti medici e linee guida cliniche prima di qualsiasi messa a punto specifica per l'attività.
Il rilascio costante di modelli a base aperta capaci ha reso pratica la continua formazione preliminare per un numero maggiore di organizzazioni, sebbene richieda ancora dati e calcoli sostanziali. Le aree di ricerca attive includono la riduzione dell'oblio, la riduzione dei costi di adattamento dei domini e la combinazione di pesi provenienti da modelli addestrati separatamente. In pratica, molti team continueranno ad abbinare una leggera messa a punto con il recupero piuttosto che una formazione preliminare continua e completa, riservando l'opzione più pesante per i domini la cui lingua è scarsamente coperta dai dati web generali.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il pre-addestramento continuo continua ad addestrare un modello base con lo stesso obiettivo del token successivo su grandi quantità di testo di dominio non elaborato, mentre l'ottimizzazione dei treni avviene su un insieme più piccolo e curato di esempi etichettati, come coppie di istruzioni e risposte, per modellare il comportamento. La scelta è importante perché la prima modifica principalmente ciò che un modello conosce su un dominio e sul suo linguaggio, la seconda modifica principalmente il modo in cui risponde e i dati e il calcolo necessari differiscono notevolmente.
Il pre-addestramento continuo prevede i token successivi sul testo non elaborato, mentre l'ottimizzazione apprende dalle coppie di prompt e risposte.
Mascherare il prompt significa che il modello impara cosa produrre dato un input, non riprodurre l'input.
L'inclusione di dati generali aiuta a evitare che le competenze generali diminuiscano mentre il modello apprende il dominio.
Il codice Llama è un esempio di pre-addestramento continuo, con alcune varianti ulteriormente addestrate per Python e istruzioni.
La messa a punto apprende lentamente nuovi fatti e può aumentare le allucinazioni, quindi il recupero è spesso migliore per modificare le informazioni.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Ottimizzazione vs RAG vs Prompt
Intelligenza artificiale linguistica