Il prossimoProssima guida
Condivisione difficile dei parametri nelle reti multi-task
Tecnico
GUIDA TECNICA
L'apprendimento multi-task addestra un modello a eseguire diverse attività correlate contemporaneamente, condividendo rappresentazioni interne tra di loro.
Ascolta questa guidaNarrato dall'IA · ~2 min
Apprendendo la struttura condivisa, ogni attività aiuta le altre, spesso migliorando la precisione e l'efficienza dei dati rispetto all'addestramento di modelli separati.
Invece di costruire un modello separato per attività, l’apprendimento multi-task (MTL) utilizza una spina dorsale condivisa che si ramifica in teste specifiche per attività. Una rete di percezione della guida autonoma, ad esempio, potrebbe condividere un codificatore di visione e poi dividersi in teste per rilevare le auto, segmentare la strada e stimare la profondità. I livelli condivisi apprendono caratteristiche generali utili per tutte le attività, mentre ogni capo si specializza. Ciò agisce come una forma di bias induttivo e di regolarizzazione: i segnali provenienti da un compito limitano la rappresentazione condivisa, riducendo l’adattamento eccessivo e migliorando la generalizzazione, soprattutto quando alcuni compiti hanno pochi dati. La sfida principale è bilanciare i compiti: se la loro scala o gradiente di perdita è in conflitto, un compito può dominare e gli altri soffrire, un problema chiamato trasferimento negativo. Tecniche come la ponderazione della perdita, la ponderazione basata sull'incertezza e la chirurgia del gradiente mirano a mantenere le attività cooperanti anziché in competizione.
Stack di percezione della guida autonoma che condividono un codificatore di visione per il rilevamento di oggetti, la segmentazione della corsia e la stima della profondità.
Modelli linguistici di grandi dimensioni che gestiscono traduzione, riepilogo, sentimento e risposta alle domande con un'unica rete condivisa.
Sistemi di raccomandazione che prevedono congiuntamente clic, tempo di visualizzazione e acquisti per ottimizzare il coinvolgimento degli utenti.
Modelli di imaging medico che rilevano simultaneamente un tumore, ne segmentano i confini e ne classificano il tipo dalla stessa scansione.
L’apprendimento multitasking è alla base della tendenza verso modelli generalisti. I modelli linguistici di grandi dimensioni sono intrinsecamente multitasking: una rete gestisce la traduzione, il riepilogo, la codifica e le domande e risposte, e i sistemi multimodali lo estendono a testo, immagini e audio. Aspettatevi un uso crescente di architetture unificate e ottimizzazione delle istruzioni che riuniscano molte attività in un unico modello, oltre a un migliore bilanciamento e instradamento automatico delle attività (come nella combinazione di esperti), in modo che aggiungere attività non significhi più aggiungere modelli separati.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'apprendimento multi-task addestra un modello a eseguire diverse attività correlate contemporaneamente, condividendo rappresentazioni interne tra di loro. Apprendendo la struttura condivisa, ogni attività aiuta le altre, spesso migliorando la precisione e l'efficienza dei dati rispetto all'addestramento di modelli separati.
MTL addestra un singolo modello su più attività in modo che i livelli condivisi acquisiscano la struttura utile in tutti loro.
La condivisione hardware dei parametri utilizza un tronco comune per le funzionalità generali e teste separate specializzate per ciascuna attività.
L'apprendimento di diverse attività limita le funzionalità condivise, agendo come una regolarizzazione che spesso aiuta soprattutto le attività con pochi dati.
Gradienti contrastanti o perdite dominanti possono far sì che un compito degradi gli altri, il contrario di un trasferimento utile.
L'obiettivo è tipicamente Σ wᵢ Lᵢ e la scelta dei pesi è fondamentale poiché i compiti differiscono per dimensioni e difficoltà.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Condivisione difficile dei parametri nelle reti multi-task
Tecnico