Il prossimoProssima guida
Usare l'intelligenza artificiale per risolvere problemi di fisica
Applicazioni
GUIDA TECNICA
Lo Straight-Through Estimator (STE) è un semplice trucco per addestrare reti che contengono passaggi difficili e non differenziabili come l'arrotondamento o la soglia.
Ascolta questa guidaNarrato dall'IA · ~2 min
It uses the discrete value on the forward pass but pretends the operation was the identity when computing gradients.
Alcune operazioni, come l'arrotondamento a un numero intero, la binarizzazione dei pesi a +1/-1 o la scelta della categoria superiore con argmax, hanno una derivata che è zero quasi ovunque e indefinita nei salti. Quel gradiente zero impedisce di apprendere a freddo. Lo stimatore diretto elude questo problema disaccoppiando i passaggi in avanti e all'indietro: in avanti applica l'operazione vera e propria; all'indietro, copia semplicemente il gradiente in entrata direttamente come se l'operazione fosse stata l'identità (o un proxy uniforme). La stima è distorta, perché il vero gradiente è in realtà zero, ma in pratica questa approssimazione "fingere che fosse liscia" addestra notevolmente bene le reti binarizzate e quantizzate, motivo per cui STE è un cavallo di battaglia dell'efficiente apprendimento profondo.
Addestramento di reti neurali binarie e quantizzate a basso bit per un'inferenza efficiente su telefoni e dispositivi edge.
Backpropagating attraverso la ricerca discreta del codebook in VQ-VAE e tokenizzatori audio/immagine neurali.
Allenamento basato sulla quantizzazione in cui i pesi o le attivazioni vengono arrotondati al punto fisso durante il passaggio in avanti.
Apprendimento dell'attenzione dura o del gating discreto in cui un argmax o una soglia si trova nel percorso di calcolo.
STE è alla base dell'aumento delle reti neurali a bit basso e binarie perseguite per l'intelligenza artificiale su dispositivo e con vincoli energetici, ed è fondamentale per l'addestramento di modelli quantizzati vettoriali come quelli utilizzati nei moderni tokenizzatori di immagini e audio. Il lavoro in corso è alla ricerca di stimatori del gradiente più rigorosi e meno distorti e di una migliore comprensione teorica del motivo per cui un’approssimazione così grossolana funziona. Poiché la domanda di modelli piccoli, veloci e quantizzati cresce su telefoni e hardware edge, ci si aspetta che i trucchi in stile STE rimangano fondamentali nonostante i loro noti pregiudizi.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Lo Straight-Through Estimator (STE) è un semplice trucco per addestrare reti che contengono passaggi difficili e non differenziabili come l'arrotondamento o la soglia. Utilizza il valore discreto nel passaggio in avanti ma finge che l'operazione fosse l'identità durante il calcolo dei gradienti.
The guide describes a hard forward pass and a surrogate backward pass.
The guide says hard rounding has a zero or undefined derivative that can stop learning.
The guide explicitly notes that the approximation is biased.
The guide names quantization and rounding as common applications.
The guide gives this pattern to preserve the hard value while passing the identity gradient.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Usare l'intelligenza artificiale per risolvere problemi di fisica
Applicazioni