Up tókànItọsọna atẹle
Using AI to Work Through Physics Problems
Awọn ohun elo
Imọ Itọsọna
Gígùn-Nipasẹ Estimator
Ti o tọ-Nipasẹ Estimator (STE) jẹ ẹtan ti o rọrun fun awọn nẹtiwọọki ikẹkọ ti o ni lile, awọn igbesẹ ti ko ni iyatọ bi iyipo tabi iloro.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
O nlo iye iyasọtọ lori kọja iwaju ṣugbọn dibọn pe iṣẹ naa jẹ idanimọ nigbati o ba ṣe iṣiro awọn gradients.
Jin Dive
Diẹ ninu awọn iṣẹ, gẹgẹbi yiyipo si odidi kan, awọn iwọn binarizing si +1/-1, tabi yiyan ẹka oke pẹlu argmax, ni itọsẹ ti o fẹrẹẹ jẹ ibi gbogbo ati aisọye ni awọn fo. Atẹle odo yẹn da ikẹkọọ tutu duro. Ti o tọ-Nipasẹ Estimator ṣe awọn ọna yii nipa sisọ siwaju ati sẹhin kọja: siwaju, o kan iṣẹ lile otitọ; sẹhin, o kan daakọ iwọn didun ti nwọle taara nipasẹ bi ẹnipe iṣẹ naa ti jẹ idanimọ (tabi aṣoju didan). Iṣiro naa jẹ aiṣedeede, nitori iwọn didun otitọ jẹ odo, sibẹ ni iṣe eyi ' dibọn pe o dan’ isunmọ awọn ọkọ oju irin binarized ati awọn nẹtiwọọki ti o ni iwọn daradara, eyiti o jẹ idi ti STE jẹ ẹṣin iṣẹ ti ikẹkọ jinlẹ daradara.
Real-World imuse
Alakomeji ikẹkọ ati awọn nẹtiwọọki nkankikan kekere-bit fun itọkasi daradara lori awọn foonu ati awọn ẹrọ eti.
Ṣe afẹyinti nipasẹ wiwa iwe koodu ọtọtọ ni VQ-VAE ati awọn ami ohun afetigbọ/aworan nkankikan.
Idanileko ti o mọ iye iwọn nibiti awọn iwuwo tabi awọn iṣẹ ṣiṣe ti yika si aaye ti o wa titi lakoko gbigbe siwaju.
Kikọ akiyesi lile tabi ẹnu-ọna ọtọtọ nibiti argmax tabi iloro joko ni ọna iṣiro.
Ojo iwaju ti Taara-Nipasẹ Estimator
STE ṣe atilẹyin iṣẹ abẹ ni kekere-bit ati awọn nẹtiwọọki alakomeji ti a lepa fun ẹrọ lori ẹrọ ati AI ti o ni agbara, ati pe o jẹ aringbungbun si ikẹkọ awọn awoṣe iwọn-fekito bii awọn ti a lo ninu aworan ode oni ati awọn ami ohun afetigbọ. Ti nlọ lọwọ iṣẹ nwá tighter, kere-abosi gradient estimators ati ki o dara o tumq si oye idi ti iru a robi isunmọ ṣiṣẹ. Bii ibeere fun kekere, iyara, awọn awoṣe titobi dagba lori awọn foonu ati ohun elo eti, nireti awọn ẹtan ara STE lati wa ni ipilẹ laibikita aibikita wọn ti a mọ.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Straight-Through Estimator quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Straight-Through Estimator?
Ti o tọ-Nipasẹ Estimator (STE) jẹ ẹtan ti o rọrun fun awọn nẹtiwọọki ikẹkọ ti o ni lile, awọn igbesẹ ti ko ni iyatọ bi iyipo tabi iloro. O nlo iye ọtọtọ lori iwọle siwaju ṣugbọn ṣebi ẹni pe iṣẹ naa jẹ idanimọ nigba ṣiṣe awọn iwọn iširo.
How does the straight-through estimator handle a hard operation?
The guide describes a hard forward pass and a surrogate backward pass.
Why can rounding block ordinary gradient descent?
The guide says hard rounding has a zero or undefined derivative that can stop learning.
What is the bias of a straight-through gradient estimate?
The guide explicitly notes that the approximation is biased.
Which example can use an STE?
The guide names quantization and rounding as common applications.
What does `x + stop_gradient(hard(x) - x)` achieve conceptually?
The guide gives this pattern to preserve the hard value while passing the identity gradient.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii