VolgendeVolgende gids
Softmax-regressie voor classificatie met meerdere klassen
Technisch
Technische GIDS
Gumbel-Softmax is een truc waarmee neurale netwerken kunnen 'samplen' uit afzonderlijke categorieën, terwijl ze nog steeds kunnen worden getraind door middel van gradiëntafdaling.
Luister naar deze gidsAI-verteld · ~2 min
Het is van belang omdat backpropagatie normaal gesproken niet via een willekeurige, discrete keuze kan plaatsvinden.
Neurale netwerken leren door bij elke operatie gradiënten achteruit te sturen. Maar het bemonsteren van een discrete categorie (zoals het kiezen van woord #7 van 50.000) is een harde, niet-differentieerbare sprong, dus gradiënten sterven daar af. De herparameterisatietruc herschrijft willekeurige steekproeven, zodat de willekeur afkomstig is van een vaste externe ruisbron, waardoor een vloeiend, differentieerbaar pad voor gradiënten overblijft. Gumbel-Softmax past dit toe op categorische variabelen: het voegt door Gumbel verdeelde ruis toe aan de logits en vervangt vervolgens de harde argmax door een temperatuurgecontroleerde softmax. Bij hoge temperaturen is de uitvoer een vloeiende klodder over categorieën; naarmate de temperatuur naar nul daalt, wordt deze scherper naar een bijna één-hete vector, waarbij de werkelijke bemonstering wordt hersteld terwijl de hele tijd differentieerbaar blijft.
Variabele autoencoders trainen met categorische (discrete) latente codes in plaats van alleen continue Gaussische codes.
Differentieerbaar zoeken naar neurale architectuur (bijvoorbeeld methoden in DARTS-stijl), waarbij wordt geselecteerd welke bewerking op elke laag moet worden geplaatst.
Leren van discrete codeboekselecties in VQ-stijl en discrete representatiemodellen.
Differentieerbare routerings- of poortbeslissingen in een mix van experts en voorwaardelijke computernetwerken.
Gumbel-Softmax blijft een standaardhulpmiddel voor discrete latente variabelen, differentieerbaar zoeken naar architectuur, vector-gekwantiseerde modellen en aangeleerde routering in systemen met een mix van experts. Er wordt onderzoek gedaan naar relaxaties met een lagere variantie en een lagere bias (zoals Rao-Blackwellized en controlevariate schatters) en naar gloeischema's die de bias van warme temperaturen in evenwicht brengen met de hoge gradiëntvariantie van koude. Nu modellen steeds vaker expliciete discrete beslissingen nemen, kun je verwachten dat deze voortdurende versoepelingen centraal zullen blijven staan in het leerbaar maken van zulke keuzes van begin tot eind.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Gumbel-Softmax is een truc waarmee neurale netwerken kunnen 'samplen' uit afzonderlijke categorieën, terwijl ze nog steeds kunnen worden getraind door middel van gradiëntafdaling. Het is van belang omdat backpropagatie normaal gesproken niet via een willekeurige, discrete keuze kan plaatsvinden.
The guide explains gradients do not pass through a hard discrete jump.
The guide describes moving randomness into a noise source and preserving a smooth path.
The guide gives the noisy softmax construction for differentiable categorical sampling.
High temperature yields a smoother distribution over categories.
The guide says low temperature sharpens toward a near one-hot vector.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Softmax-regressie voor classificatie met meerdere klassen
Technisch