Il prossimoProssima guida
Media del peso stocastico
Tecnico
GUIDA TECNICA
Il modo in cui si impostano i pesi iniziali di una rete neurale prima dell'inizio dell'addestramento, che determina fortemente se segnali e gradienti rimangono integri attraverso gli strati profondi.
Ascolta questa guidaNarrato dall'IA · ~2 min
Good initialization is the difference between fast convergence and a model that never learns.
Prima dell'allenamento, ogni peso necessita di un valore iniziale. Impostarli tutti a zero è fatale: pesi identici producono gradienti identici, quindi i neuroni non si differenziano mai: questo è il problema della rottura della simmetria. L'inizializzazione casuale rompe la simmetria, ma la scala conta enormemente. Troppo grande e attivazioni e gradienti esplodono; troppo piccoli e svaniscono. Gli schemi basati su principi scelgono la varianza in base alla dimensione dello strato per mantenere la varianza del segnale più o meno costante tra gli strati. L'inizializzazione di Xavier (Glorot) scala la varianza in base al numero di unità di input più output e si adatta alle reti tanh e sigmoidali. L'inizializzazione di He (Kaiming) si ridimensiona in base al numero di input e tiene conto del fatto che ReLU scarta metà dei suoi input, rendendolo lo standard per le reti profonde e le CNN basate su ReLU. Una buona inizializzazione mantiene stabile l'addestramento iniziale finché non subentrano la normalizzazione e gli ottimizzatori adattivi.
Una CNN che utilizza attivazioni ReLU viene inizializzata con l'inizializzazione He in modo che gli stack convoluzionali profondi si allenino senza segnali di fuga.
Una rete con attivazioni tanh utilizza l'inizializzazione Xavier per mantenere stabile la varianza di attivazione tra i livelli.
Un ingegnere che inizializza accidentalmente tutti i pesi a zero vede la rete non riuscire ad apprendere perché ogni neurone rimane identico.
Le impostazioni predefinite del framework (Kaiming di PyTorch, uniforme Glorot di Keras) applicano automaticamente l'inizializzazione dei principi quando viene creato un livello.
I livelli di normalizzazione e le connessioni residue hanno reso l'addestramento un po' meno sensibile all'inizializzazione esatta, ma è comunque importante per reti molto profonde o prive di normalizzazione. La ricerca attiva include schemi su misura per i trasformatori e l'attenzione, metodi che consentono alle reti di addestrarsi senza strati di normalizzazione e teorie come l'isometria dinamica e il nucleo della tangente neurale che prevede l'addestramento solo dalla inizializzazione. Un'altra direzione in crescita è l'inizializzazione dipendente dai dati, che calibra le bilance da un lotto di campioni.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il modo in cui si impostano i pesi iniziali di una rete neurale prima dell'inizio dell'addestramento, che determina fortemente se segnali e gradienti rimangono integri attraverso gli strati profondi. Una buona inizializzazione è la differenza tra una convergenza rapida e un modello che non impara mai.
Con pesi identici, ogni neurone calcola lo stesso output e lo stesso gradiente, quindi si aggiornano in modo identico e lo strato non potrà mai apprendere caratteristiche distinte.
L'inizializzazione ridimensiona la varianza di 2 / fan_in per compensare il fatto che ReLU azzera circa la metà dei suoi input.
Schemi come Xavier e He scelgono la varianza del peso dalle dimensioni degli strati in modo che i segnali non svaniscano né esplodano mentre si propagano.
Xavier bilancia la varianza in avanti e all'indietro per attivazioni simmetriche e saturanti come tanh e sigmoide.
ReLU lascia passare solo input positivi, scartando circa la metà del segnale, quindi raddoppiando la varianza si ripristina la varianza di attivazione prevista.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Media del peso stocastico
Tecnico