Il prossimoProssima guida
T5 e trasferimento da testo a testo
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
I livelli adattatore sono piccoli moduli addestrabili inseriti in un modello preaddestrato congelato, che consente di adattarlo a nuove attività aggiornando solo una piccola percentuale dei parametri.
Ascolta questa guidaNarrato dall'IA · ~2 min
They make fine-tuning cheap, modular, and easy to swap.
Gli adattatori, resi popolari da Houlsby et al. (2019) per il trasferimento dell'apprendimento nella PNL, affrontano un problema costoso: la messa a punto completa aggiorna ogni peso in un modello di grandi dimensioni e produce una copia completamente nuova per attività. Un adattatore inserisce invece piccole reti a collo di bottiglia in ciascun blocco del trasformatore, tipicamente una proiezione verso il basso a una dimensione bassa, una non linearità e una proiezione verso l'alto, avvolta in una connessione residua. Durante l'allenamento i pesi originali preallenati rimangono congelati; vengono appresi solo gli adattatori (spesso meno del 5% dei parametri totali). Ciò produce una qualità di regolazione quasi completa su benchmark come GLUE addestrando molti meno parametri. Poiché ogni attività ha il proprio piccolo adattatore, puoi memorizzare un modello base più molti moduli di attività leggeri e scambiarli o addirittura impilarli. Gli adattatori sono un membro fondamentale della famiglia di ottimizzazione fine dei parametri (PEFT), insieme a LoRA e all'ottimizzazione dei prefissi.
Aggiungere un adattatore specifico per la lingua in modo che un modello multilingue possa essere specializzato, ad esempio, per lo swahili senza riqualificare l'intera rete.
Mantenere un unico modello base più decine di piccoli adattatori per cliente in un prodotto SaaS, scambiando quello giusto per ogni richiesta.
Perfezionamento di un modello per la classificazione del sentiment formando solo un adattatore di pochi punti percentuali, quindi mantenendo la base condivisa per altre attività.
Impilare un adattatore di attività sopra un adattatore di dominio (ad esempio, un adattatore di testo legale più un adattatore di riepilogo) per il riutilizzo modulare.
Gli adattatori e il kit di strumenti PEFT più ampio sono ora standard per personalizzare modelli di grandi dimensioni in modo conveniente, soprattutto quando si tratta di palloncini di dimensioni modello. Si prevede una crescita nella composizione dell'adattatore (combinando attività o adattatori linguistici in modo modulare, come in AdapterHub), instradamento tra molti adattatori durante l'inferenza e personalizzazione sul dispositivo in cui un piccolo adattatore personalizza un modello base condiviso per utente. Le varianti LoRA dominano sempre più per pura efficienza, ma l'idea di fondo, congelare il modello gigante e addestrare un piccolo plug-in, è ora centrale per il modo in cui il campo scala la personalizzazione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
I livelli adattatore sono piccoli moduli addestrabili inseriti in un modello preaddestrato congelato, che consente di adattarlo a nuove attività aggiornando solo una piccola percentuale dei parametri. Rendono la messa a punto economica, modulare e facile da scambiare.
La regolazione dell'adattatore mantiene congelato il modello base e apprende solo i piccoli moduli inseriti.
L'adattatore classico riduce lo stato nascosto a una dimensione bassa, applica una non linearità, esegue il backup e aggiunge una connessione di salto.
Gli adattatori di solito aggiungono e addestrano solo una piccola percentuale dei parametri totali del modello, molto meno della messa a punto completa.
Poiché ogni attività necessita solo di un piccolo adattatore, un modello base condiviso può svolgere molte attività scambiando moduli leggeri.
Gli adattatori rappresentano un metodo PEFT fondamentale, insieme ad approcci come LoRA e l'ottimizzazione dei prefissi.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
T5 e trasferimento da testo a testo
Intelligenza artificiale linguistica