Gumbel-Softmax ati Reparameterization
Gumbel-Softmax jẹ ẹtan ti o jẹ ki awọn nẹtiwọọki nkankikan jẹ 'ayẹwo' lati awọn ẹka ọtọtọ lakoko ti o tun jẹ ikẹkọ nipasẹ isunmọ gradient.
Akopọ
O ṣe pataki nitori backpropagation deede ko le ṣàn nipasẹ a laileto, alailẹgbẹ yiyan.
Jin Dive
Awọn nẹtiwọọki nkankikan kọ ẹkọ nipa fifiranṣẹ awọn gradients sẹhin nipasẹ gbogbo iṣẹ ṣiṣe. Ṣugbọn iṣapẹẹrẹ ẹka ọtọtọ (bii ọrọ yiyan #7 ti 50,000) jẹ lile, fo ti kii ṣe iyatọ, nitorinaa awọn gradients ku sibẹ. Ẹtan reparameterization tun ṣe ayẹwo iṣapẹẹrẹ laileto nitorinaa aileto wa lati orisun ariwo ita ti o wa titi, nlọ ni didan, ọna iyatọ fun awọn gradients. Gumbel-Softmax kan eyi si awọn oniyipada isori: o ṣafikun ariwo pinpin Gumbel si awọn logiti, lẹhinna rọpo argmax lile pẹlu softmax iṣakoso iwọn otutu. Ni iwọn otutu ti o ga, abajade jẹ abawọn didan lori awọn ẹka; bi iwọn otutu ti n lọ silẹ si odo o n pọ si ọna fekito-gbona kan ti o sunmọ, n bọlọwọ iṣapẹẹrẹ otitọ lakoko ti o wa ni iyatọ jakejado.
Imọ-imọ-ẹrọ
Ẹtan Gumbel-Max sọ pe: fifi ominira Gumbel (0,1) ariwo si logit kọọkan ati gbigba argmax n pese apẹẹrẹ gangan lati pinpin softmax. Gumbel-Softmax swaps ti o lile argmax fun softmax ((log p + g)/tau). Awọn iwọn otutu tau interpolates laarin a dan, ga-entropy pinpin (tobi tau) ati a isunmọ-discrete ọkan-gbona (kekere tau). Nitori ariwo g ni a ṣe ayẹwo ni ita nẹtiwọki, ọna lati awọn logits si iṣẹjade duro iyatọ.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Gumbel-Softmax ati Reparameterization
Gumbel-Softmax jẹ ohun elo aifọwọyi fun awọn oniyipada wiwadi ti o yatọ, wiwa faaji iyatọ, awọn awoṣe ti o ni iwọn fekito, ati ipa ọna ikẹkọ ni awọn ọna ṣiṣe adapo-ti-amoye. Iwadi n tẹsiwaju lori iyatọ-kekere, awọn isinmi-irẹlẹ-kekere (gẹgẹbi Rao-Blackwellized ati awọn iṣiro iṣakoso-iyatọ) ati lori awọn iṣeto annealing ti o dọgbadọgba irẹwẹsi ti awọn iwọn otutu ti o gbona si iyatọ gigadient ti awọn tutu. Bi awọn awoṣe ti n pọ si ni awọn ipinnu oye ti o fojuhan, nireti awọn isinmi lemọlemọfún wọnyi lati duro si aarin si ṣiṣe iru awọn yiyan iru ẹkọ lati opin-si-opin.
Real-World imuse
Ikẹkọ adaṣe adaṣe adaṣe iyatọ pẹlu isọri (oye) awọn koodu wiwadi dipo awọn Gaussian ti nlọsiwaju nikan.
Wiwa faaji nkankikan ti o yatọ (fun apẹẹrẹ, awọn ọna ara DARTS) yiyan iru iṣẹ wo ni lati gbe ni ipele kọọkan.
Kọ ẹkọ awọn yiyan codebook ọtọtọ ni aṣa VQ ati awọn awoṣe aṣoju ọtọtọ.
Iyatọ afisona tabi gating ipinu ni adalu-ti-amoye ati ni àídájú-iširo nẹtiwọki.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gumbel-Softmax and Reparameterization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn nẹtiwọki Loorekoore Bidirectional
Awọn ibeere ti a beere nigbagbogbo
Kini Gumbel-Softmax ati Reparameterization?
Gumbel-Softmax jẹ ẹtan ti o jẹ ki awọn nẹtiwọọki nkankikan jẹ 'ayẹwo' lati awọn ẹka ọtọtọ lakoko ti o tun jẹ ikẹkọ nipasẹ isunmọ gradient. O ṣe pataki nitori isọdọtun deede ko le ṣàn nipasẹ ID, yiyan ọtọtọ.
Isoro mojuto wo ni Gumbel-Softmax yanju?
Iṣapẹẹrẹ ọtọtọ nipasẹ argmax kii ṣe iyatọ, idilọwọ awọn gradients. Gumbel-Softmax n pese isinmi ti o yatọ ki nẹtiwọọki le tun jẹ ikẹkọ ipari-si-opin.
Ninu ẹtan reparameterization, nibo ni aileto wa lati?
Reparameterization n gbe laileto si iyipada ariwo ominira, nlọ ipinnu ipinnu, iṣẹ iyatọ ti awọn aye ti nẹtiwọọki.
Gẹgẹbi ẹtan Gumbel-Max, bawo ni o ṣe le fa ayẹwo gangan lati pinpin softmax?
Ẹtan Gumbel-Max: argmax over (logits + i.i.d. ariwo Gumbel) ti pin ni deede bi apẹẹrẹ isori lati softmax ti awọn logits wọnyẹn.
Kini ipa ti paramita otutu (tau) ni Gumbel-Softmax?
Low tau Titari softmax si ọna fekito to gbona kan ti o sunmọ (sunmọ iṣapẹẹrẹ otitọ); ga tau mu ki o dan ati ki o ga-entropy. O ṣe iṣowo kuro ni ojuṣaaju lodi si iyatọ gradient.
Bi tau ti n sunmọ odo, iṣẹjade Gumbel-Softmax n sunmọ kini?
Itutu otutu si odo n mu softmax mulẹ titi ti o fi fẹrẹ yan ẹka kan, n bọlọwọ ihuwasi iṣapẹẹrẹ ọtọtọ.