Il prossimoProssima guida
Normalizzazione delle ricompense raggruppate in RLHF
Fondamenti
GUIDA AI FONDAMENTALI
La normalizzazione di gruppo è una tecnica che stabilizza l'addestramento della rete neurale normalizzando le funzionalità all'interno di piccoli gruppi di canali, in modo indipendente per ciascun esempio.
Ascolta questa guidaNarrato dall'IA · ~2 min
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
I livelli di normalizzazione mantengono il flusso dei numeri attraverso una rete ben scalata, che accelera e stabilizza la formazione. La normalizzazione batch fa questo calcolando la media e la varianza di ciascuna caratteristica nell'intero mini-batch, ma ciò lo rende fragile quando i batch sono piccoli, poiché le statistiche diventano rumorose e inaffidabili. La normalizzazione del gruppo, introdotta da Wu e He nel 2018, rimuove completamente il batch dall’equazione. Per ogni singolo esempio, divide i canali in un numero fisso di gruppi, quindi normalizza ciascun gruppo utilizzando solo i valori di quell'esempio. Poiché il calcolo non dipende mai da altri esempi nel batch, le prestazioni rimangono stabili indipendentemente dal fatto che il batch contenga 32 immagini o solo una, rendendolo popolare nelle attività di rilevamento, segmentazione e visione con uso intensivo di memoria.
Rilevamento di oggetti e segmentazione delle istanze (ad esempio, modelli in stile Mask R-CNN) addestrati con batch molto piccoli per GPU.
Le dorsali di U-Net sono all'interno dei generatori di immagini di diffusione, dove Group Norm stabilizza le scale delle caratteristiche.
Reti 3D e video in cui l'utilizzo elevato della memoria riduce le dimensioni dei batch a uno o due.
Ottimizzazione di modelli di visione di grandi dimensioni su hardware limitato in cui lotti piccoli rendono inaffidabili le statistiche Batch Norm.
La normalizzazione di gruppo rimane la scelta ideale ovunque i batch debbano essere piccoli, ad esempio nel rilevamento e segmentazione ad alta risoluzione, nei modelli 3D e video e nel training con memoria limitata. È anche incorporato in architetture generative ampiamente utilizzate come i modelli di diffusione interna di U-Net. Man mano che i modelli crescono e la pressione della memoria riduce le dimensioni dei batch, è probabile che i normalizzatori indipendenti dai batch, tra cui Group Norm insieme a Layer Norm, rimangano elementi costitutivi predefiniti, con la continua ricerca su ibridi e alternative prive di normalizzazione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La normalizzazione di gruppo è una tecnica che stabilizza l'addestramento della rete neurale normalizzando le funzionalità all'interno di piccoli gruppi di canali, in modo indipendente per ciascun esempio. È importante perché, a differenza della normalizzazione batch, funziona bene anche quando i batch sono piccoli.
The guide says GN normalizes groups of channels within each example.
The paper emphasizes stable behavior at small batch sizes because computation does not rely on batch statistics.
The paper’s computation uses within-example group statistics, independent of batch size.
The guide states that one group reduces the scheme to LayerNorm.
The guide says one channel per group corresponds to InstanceNorm.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Normalizzazione delle ricompense raggruppate in RLHF
Fondamenti