DalšíDalší průvodce
Softmax regrese pro vícetřídní klasifikaci
Technický
Technický PRŮVODCE
Gumbel-Softmax je trik, který umožňuje neuronovým sítím „vzorkovat“ z diskrétních kategorií, přičemž je stále lze trénovat gradientovým sestupem.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Záleží na tom, protože zpětné šíření obvykle nemůže projít náhodnou, diskrétní volbou.
Neuronové sítě se učí odesíláním gradientů zpět při každé operaci. Ale vzorkování diskrétní kategorie (jako výběr slova č. 7 z 50 000) je tvrdý, nerozlišitelný skok, takže gradienty tam umírají. Trik reparametrizace přepisuje náhodné vzorkování, takže náhodnost pochází z pevného externího zdroje šumu a ponechává hladkou, diferencovatelnou cestu pro gradienty. Gumbel-Softmax to aplikuje na kategorické proměnné: přidává k logitům hluk distribuovaný Gumbelem a poté nahradí tvrdý argmax teplotně řízeným softmaxem. Při vysoké teplotě je výstupem plynulá skvrna nad kategoriemi; jak teplota klesá k nule, zostřuje se směrem k téměř jednomu horkému vektoru, čímž se obnovuje skutečné vzorkování a přitom zůstává po celou dobu rozlišitelné.
Trénink variačních autokodérů s kategorickými (diskrétními) latentními kódy namísto pouze spojitých Gaussových kódů.
Diferencibilní vyhledávání neuronové architektury (např. metody ve stylu DARTS) s výběrem operace, která se má umístit do každé vrstvy.
Naučte se diskrétní výběry kódové knihy ve stylu VQ a modelů diskrétní reprezentace.
Diferenciovatelné rozhodování o směrování nebo hradlování ve smíšených expertech a sítích podmíněných výpočtů.
Gumbel-Softmax zůstává výchozím nástrojem pro diskrétní latentní proměnné, vyhledávání diferencovatelných architektur, vektorově kvantované modely a naučené směrování v systémech se směsí odborníků. Pokračuje výzkum nižších odchylek, nižších relaxací odchylek (jako jsou Rao-Blackwellized a odhady kontrolních variací) a plánů žíhání, které vyvažují zkreslení teplých teplot proti vysokému gradientu variací studených. Vzhledem k tomu, že modely stále častěji dělají explicitní diskrétní rozhodnutí, očekávejte, že tato nepřetržitá relaxace zůstanou ústředním bodem toho, aby se taková rozhodnutí mohla naučit od začátku do konce.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Gumbel-Softmax je trik, který umožňuje neuronovým sítím „vzorkovat“ z diskrétních kategorií, přičemž je stále lze trénovat gradientovým sestupem. Je to důležité, protože zpětné šíření normálně nemůže procházet náhodnou, diskrétní volbou.
The guide explains gradients do not pass through a hard discrete jump.
The guide describes moving randomness into a noise source and preserving a smooth path.
The guide gives the noisy softmax construction for differentiable categorical sampling.
High temperature yields a smoother distribution over categories.
The guide says low temperature sharpens toward a near one-hot vector.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Softmax regrese pro vícetřídní klasifikaci
Technický