Up tókànItọsọna atẹle
Softmax padasẹyin fun Multiclass Classification
Imọ-ẹrọ
Imọ Itọsọna
Gumbel-Softmax ati Reparameterization
Gumbel-Softmax jẹ ẹtan ti o jẹ ki awọn nẹtiwọọki nkankikan jẹ 'ayẹwo' lati awọn ẹka ọtọtọ lakoko ti o tun jẹ ikẹkọ nipasẹ isunmọ gradient.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
O ṣe pataki nitori backpropagation deede ko le ṣàn nipasẹ a laileto, alailẹgbẹ yiyan.
Jin Dive
Awọn nẹtiwọọki nkankikan kọ ẹkọ nipa fifiranṣẹ awọn gradients sẹhin nipasẹ gbogbo iṣẹ ṣiṣe. Ṣugbọn iṣapẹẹrẹ ẹka ọtọtọ (bii ọrọ yiyan #7 ti 50,000) jẹ lile, fo ti kii ṣe iyatọ, nitorinaa awọn gradients ku sibẹ. Ẹtan reparameterization tun ṣe ayẹwo iṣapẹẹrẹ laileto nitorinaa aileto wa lati orisun ariwo ita ti o wa titi, nlọ ni didan, ọna iyatọ fun awọn gradients. Gumbel-Softmax kan eyi si awọn oniyipada isori: o ṣafikun ariwo pinpin Gumbel si awọn logiti, lẹhinna rọpo argmax lile pẹlu softmax iṣakoso iwọn otutu. Ni iwọn otutu ti o ga, abajade jẹ abawọn didan lori awọn ẹka; bi iwọn otutu ti n lọ silẹ si odo o n pọ si ọna fekito-gbona kan ti o sunmọ, n bọlọwọ iṣapẹẹrẹ otitọ lakoko ti o wa ni iyatọ jakejado.
Real-World imuse
Ikẹkọ adaṣe adaṣe adaṣe iyatọ pẹlu isọri (oye) awọn koodu wiwadi dipo awọn Gaussian ti nlọsiwaju nikan.
Wiwa faaji nkankikan ti o yatọ (fun apẹẹrẹ, awọn ọna ara DARTS) yiyan iru iṣẹ wo ni lati gbe ni ipele kọọkan.
Kọ ẹkọ awọn yiyan codebook ọtọtọ ni aṣa VQ ati awọn awoṣe aṣoju ọtọtọ.
Iyatọ afisona tabi gating ipinu ni adalu-ti-amoye ati ni àídájú-iširo nẹtiwọki.
Ojo iwaju ti Gumbel-Softmax ati Reparameterization
Gumbel-Softmax jẹ ohun elo aifọwọyi fun awọn oniyipada wiwadi ti o yatọ, wiwa faaji iyatọ, awọn awoṣe ti o ni iwọn fekito, ati ipa ọna ikẹkọ ni awọn ọna ṣiṣe adapo-ti-amoye. Iwadi n tẹsiwaju lori iyatọ-kekere, awọn isinmi-irẹlẹ-kekere (gẹgẹbi Rao-Blackwellized ati awọn iṣiro iṣakoso-iyatọ) ati lori awọn iṣeto annealing ti o dọgbadọgba irẹwẹsi ti awọn iwọn otutu ti o gbona si iyatọ gigadient ti awọn tutu. Bi awọn awoṣe ti n pọ si ni awọn ipinnu oye ti o fojuhan, nireti awọn isinmi lemọlemọfún wọnyi lati duro si aarin si ṣiṣe iru awọn yiyan iru ẹkọ lati opin-si-opin.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Gumbel-Softmax and Reparameterization quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Gumbel-Softmax ati Reparameterization?
Gumbel-Softmax jẹ ẹtan ti o jẹ ki awọn nẹtiwọọki nkankikan jẹ 'ayẹwo' lati awọn ẹka ọtọtọ lakoko ti o tun jẹ ikẹkọ nipasẹ isunmọ gradient. O ṣe pataki nitori isọdọtun deede ko le ṣàn nipasẹ ID, yiyan ọtọtọ.
Why is a categorical sample difficult to train through with ordinary backpropagation?
The guide explains gradients do not pass through a hard discrete jump.
What does the reparameterization trick aim to do?
The guide describes moving randomness into a noise source and preserving a smooth path.
How does Gumbel-Softmax approximate a categorical choice?
The guide gives the noisy softmax construction for differentiable categorical sampling.
What happens to the distribution as temperature becomes large?
High temperature yields a smoother distribution over categories.
What happens as temperature approaches zero?
The guide says low temperature sharpens toward a near one-hot vector.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii