LegközelebbKövetkező útmutató
Softmax regresszió a többosztályos osztályozáshoz
Műszaki
Műszaki ÚTMUTATÓ
A Gumbel-Softmax egy olyan trükk, amely lehetővé teszi a neurális hálózatok számára, hogy „mintát vegyenek” diszkrét kategóriákból, miközben továbbra is taníthatók gradiens leereszkedéssel.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert a visszaterjesztés általában nem folyhat véletlenszerű, diszkrét választáson keresztül.
A neurális hálózatok úgy tanulnak, hogy minden művelet során gradienseket küldenek visszafelé. De egy diszkrét kategória mintavétele (például az 50 000-ből a 7. szó kiválasztása) kemény, nem megkülönböztethető ugrás, így a színátmenetek ott halnak meg. Az újraparaméterezési trükk átírja a véletlenszerű mintavételezést, így a véletlenszerűség egy rögzített külső zajforrásból származik, így sima, differenciálható utat hagyva a gradiensek számára. A Gumbel-Softmax ezt alkalmazza a kategorikus változókra: hozzáadja a Gumbel-eloszlású zajt a logitokhoz, majd a kemény argmax-ot lecseréli egy hőmérséklet-szabályozott softmax-ra. Magas hőmérsékleten a kimenet sima folt a kategóriák felett; amint a hőmérséklet nulla felé csökken, egy közel egyforró vektor felé élesedik, visszaállítva a valódi mintavételt, miközben végig differenciálható marad.
Variációs autoenkóderek betanítása kategorikus (diszkrét) látens kódokkal a folytonos Gauss-kódok helyett.
Differenciálható neurális architektúra keresés (pl. DARTS-stílusú módszerek), amely kiválasztja, hogy melyik műveletet helyezze el az egyes rétegeken.
Diszkrét kódkönyv-kiválasztások megtanulása VQ-stílusú és diszkrét reprezentációs modellekben.
Differenciálható útválasztási vagy kapuzási döntések vegyes szakértői és feltételes számítási hálózatokban.
A Gumbel-Softmax továbbra is az alapértelmezett eszköz a diszkrét látens változókhoz, a differenciálható architektúra kereséshez, a vektorkvantált modellekhez és a tanult útválasztáshoz a vegyes szakértői rendszerekben. Folytatódik a kutatás az alacsonyabb varianciájú, kisebb torzítású relaxációkkal (mint például a Rao-Blackwell-becsléssel és a kontrollváltozós becslésekkel), valamint az olyan lágyítási ütemezésekkel, amelyek kiegyensúlyozzák a meleg hőmérsékletek torzítását a hidegek magas gradiens-varianciájával szemben. Mivel a modellek egyre inkább kifejezetten diszkrét döntéseket hoznak, elvárják, hogy ezek a folyamatos lazítások központi szerepet töltsenek be abban, hogy az ilyen döntéseket végponttól végpontig tanulhatóvá tegyék.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Gumbel-Softmax egy olyan trükk, amely lehetővé teszi a neurális hálózatok számára, hogy „mintát vegyenek” diszkrét kategóriákból, miközben továbbra is taníthatók gradiens leereszkedéssel. Ez azért fontos, mert a visszaterjesztés általában nem folyhat véletlenszerű, diszkrét választáson keresztül.
The guide explains gradients do not pass through a hard discrete jump.
The guide describes moving randomness into a noise source and preserving a smooth path.
The guide gives the noisy softmax construction for differentiable categorical sampling.
High temperature yields a smoother distribution over categories.
The guide says low temperature sharpens toward a near one-hot vector.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Softmax regresszió a többosztályos osztályozáshoz
Műszaki