Il prossimoProssima guida
Regressione Softmax per la classificazione multiclasse
Tecnico
GUIDA TECNICA
Gumbel-Softmax è un trucco che consente alle reti neurali di "campionare" da categorie discrete pur essendo addestrabili mediante la discesa del gradiente.
Ascolta questa guidaNarrato dall'IA · ~2 min
It matters because backpropagation normally can't flow through a random, discrete choice.
Le reti neurali apprendono inviando gradienti all'indietro attraverso ogni operazione. Ma campionare una categoria discreta (come scegliere la parola n. 7 di 50.000) è un salto difficile e non differenziabile, quindi i gradienti muoiono lì. Il trucco della riparametrizzazione riscrive il campionamento casuale in modo che la casualità provenga da una fonte di rumore esterna fissa, lasciando un percorso uniforme e differenziabile per i gradienti. Gumbel-Softmax applica questo alle variabili categoriali: aggiunge il rumore distribuito da Gumbel ai logit, quindi sostituisce l'argmax rigido con un softmax a temperatura controllata. Ad alta temperatura l'output è una massa uniforme su categorie; quando la temperatura scende verso lo zero, si intensifica verso un vettore quasi caldo, recuperando il vero campionamento pur rimanendo differenziabile.
Addestramento di autocodificatori variazionali con codici latenti categoriali (discreti) invece di solo codici gaussiani continui.
Ricerca di architetture neurali differenziabili (ad esempio, metodi in stile DARTS) selezionando quale operazione posizionare su ciascun livello.
Apprendimento delle selezioni discrete dei codici in stile VQ e modelli di rappresentazione discreta.
Decisioni di routing o gating differenziabili in reti miste di esperti e di calcolo condizionale.
Gumbel-Softmax rimane uno strumento predefinito per variabili latenti discrete, ricerca di architetture differenziabili, modelli quantizzati vettoriali e routing appreso in sistemi misti di esperti. La ricerca continua su rilassamenti a varianza inferiore e distorsione inferiore (come gli stimatori Rao-Blackwellizzati e con variabile di controllo) e su programmi di ricottura che bilanciano la distorsione delle temperature calde con l'elevata varianza del gradiente di quelle fredde. Poiché i modelli prendono sempre più decisioni esplicite e discrete, ci si aspetta che questi continui allentamenti rimangano centrali per rendere tali scelte apprendibili end-to-end.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Gumbel-Softmax è un trucco che consente alle reti neurali di "campionare" da categorie discrete pur essendo addestrabili mediante la discesa del gradiente. È importante perché la propagazione all'indietro normalmente non può fluire attraverso una scelta casuale e discreta.
The guide explains gradients do not pass through a hard discrete jump.
The guide describes moving randomness into a noise source and preserving a smooth path.
The guide gives the noisy softmax construction for differentiable categorical sampling.
High temperature yields a smoother distribution over categories.
The guide says low temperature sharpens toward a near one-hot vector.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Regressione Softmax per la classificazione multiclasse
Tecnico