InayofuataMwongozo unaofuata
Urekebishaji wa Softmax kwa Uainishaji wa Multiclass
Kiufundi
MWONGOZO wa Kiufundi
Gumbel-Softmax na Reparameterization
Gumbel-Softmax ni hila ambayo huruhusu mitandao ya neva 'sampuli' kutoka kwa kategoria tofauti huku ingali ikifunzwa kwa asili ya gradient.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Ni muhimu kwa sababu uenezaji wa nyuma kwa kawaida hauwezi kupitia chaguo la nasibu, tofauti.
Dive ya kina
Neural networks learn by sending gradients backward through every operation. But sampling a discrete category (like picking word #7 of 50,000) is a hard, non-differentiable jump, so gradients die there. Ujanja wa urekebishaji huandika upya sampuli nasibu ili nasibu itoke kwenye chanzo kisichobadilika cha kelele cha nje, na hivyo kuacha njia nyororo na inayoweza kutofautishwa kwa vipenyo. Gumbel-Softmax inatumika hii kwa vigeu vya kategoria: inaongeza kelele iliyosambazwa na Gumbel kwenye kumbukumbu, kisha inachukua nafasi ya argmax ngumu na softmax inayodhibitiwa na halijoto. At high temperature the output is a smooth blob over categories; as temperature drops toward zero it sharpens toward a near one-hot vector, recovering true sampling while staying differentiable throughout.
Utekelezaji wa Ulimwengu Halisi
Kufunza visimbaji kiotomatiki tofauti vilivyo na misimbo fiche ya kategoria (discrete) badala ya zile zinazoendelea za Gaussian pekee.
Utafutaji tofauti wa usanifu wa neva (k.m., mbinu za mtindo wa DARTS) ukichagua operesheni ya kuweka kwenye kila safu.
Kujifunza uteuzi tofauti wa kitabu cha msimbo katika mtindo wa VQ na miundo tofauti ya uwakilishi.
Maamuzi tofauti ya uelekezaji au lango katika mchanganyiko wa wataalam na mitandao ya hesabu ya masharti.
Mustakabali wa Gumbel-Softmax na Reparameterization
Gumbel-Softmax inasalia kuwa kifaa chaguo-msingi cha vigeu vilivyofichika, utafutaji wa usanifu unaotofautishwa, miundo iliyopimwa kwa wingi wa vekta, na uelekezaji uliofunzwa katika mifumo ya mchanganyiko wa wataalam. Utafiti unaendelea kuhusu utofautishaji wa chini, ulegezaji wa upendeleo wa chini (kama vile Rao-Blackwellized na wakadiriaji-tofauti wa udhibiti) na kwenye ratiba za uwekaji alama zinazosawazisha upendeleo wa halijoto ya joto dhidi ya tofauti ya juu ya viwango vya baridi. Kadiri wanamitindo wanavyozidi kufanya maamuzi mahususi, tarajia mapumziko haya yanayoendelea kuwa muhimu katika kufanya chaguo kama hizo kujifunza kutoka mwisho hadi mwisho.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Gumbel-Softmax and Reparameterization quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Gumbel-Softmax na Reparameterization ni nini?
Gumbel-Softmax ni hila ambayo huruhusu mitandao ya neva 'sampuli' kutoka kwa kategoria tofauti huku ingali ikifunzwa kwa asili ya gradient. Ni muhimu kwa sababu uenezaji wa nyuma kwa kawaida hauwezi kupitia chaguo la nasibu, tofauti.
Why is a categorical sample difficult to train through with ordinary backpropagation?
The guide explains gradients do not pass through a hard discrete jump.
What does the reparameterization trick aim to do?
The guide describes moving randomness into a noise source and preserving a smooth path.
How does Gumbel-Softmax approximate a categorical choice?
The guide gives the noisy softmax construction for differentiable categorical sampling.
What happens to the distribution as temperature becomes large?
High temperature yields a smoother distribution over categories.
What happens as temperature approaches zero?
The guide says low temperature sharpens toward a near one-hot vector.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii