Agbara-orisun Models
Awọn awoṣe ti o da lori agbara (EBMs) kọ ẹkọ iṣẹ ‘agbara’ ti iwọn ti o fi awọn iye kekere si data ti o ṣeeṣe ati awọn iye giga si data aiṣedeede, ti n ṣalaye pinpin iṣeeṣe lai fi ipa mu u rọrun lati ṣe deede.
Akopọ
This flexibility makes them a unifying lens for much of machine learning, from classifiers to generative models.
Jin Dive
Awoṣe ti o da lori agbara n ṣalaye iṣeeṣe nipasẹ pinpin Boltzmann (Gibbs): p (x) jẹ iwọn si exp (-E (x)), nibiti E (x) jẹ iṣẹ agbara ti ẹkọ, nigbagbogbo nẹtiwọọki nkankikan. Ikẹkọ titari agbara ti data gidi ati titari agbara ohun gbogbo miiran. Apeja naa jẹ iṣẹ ipin Z, apao tabi apapọ ti exp (-E (x)) lori gbogbo awọn igbewọle ti o ṣeeṣe, eyiti o jẹ aibikita nigbagbogbo lati ṣe iṣiro. Nitorinaa awọn EBM ti ni ikẹkọ pẹlu awọn isunmọ: iyatọ iyatọ, ibaramu Dimegilio, tabi iṣiro-idasi ariwo, ati apẹẹrẹ nipasẹ awọn ọna MCMC bii awọn agbara Langevin ti o tẹle isunmọ agbara. Awọn apẹẹrẹ Ayebaye pẹlu awọn nẹtiwọọki Hopfield ati Awọn ẹrọ Boltzmann Ihamọ; iṣẹ ode oni so awọn EBM pọ si awọn awoṣe itankale, awọn GAN, ati paapaa awọn kilasika arinrin ti a tun tumọ bi awọn iṣẹ agbara.
Imọ-imọ-ẹrọ
Awoṣe naa ṣe ipinnu iṣeeṣe p (x) = exp (-E (x)) / Z. Nitoripe Z (ni deede lori gbogbo awọn igbewọle) jẹ eyiti ko ṣee ṣe, o ṣọwọn o ṣeeṣe taara. Dipo, Dimegilio ibaamu ati iṣapẹẹrẹ Langevin lo nilokulo pe gradient ti log p(x) dọgba -gradient ti E(x), nitorinaa Z ṣubu jade. Langevin dynamics lẹhinna ṣe ipilẹṣẹ awọn ayẹwo nipasẹ didin leralera x isalẹ ni agbara ati fifi ariwo kun, nrin si agbara-kekere, awọn agbegbe iṣeeṣe giga.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Awọn awoṣe orisun Agbara
Awọn EBM n gbadun iwulo isọdọtun nitori wọn pese afara imọ-jinlẹ laarin awọn awoṣe itankale, awọn awoṣe ipilẹṣẹ ti o da lori Dimegilio, ati awọn nẹtiwọọki iyasoto, Dimegilio awoṣe itanka ti kọ ẹkọ jẹ pataki itesiwaju agbara. Reti awọn ọna ṣiṣe arabara diẹ sii ti o lo awọn iṣẹ agbara fun irọrun, awọn ihamọ composable (darapọ awọn okunagbara pupọ lati darí iran), iṣapẹẹrẹ ti o dara julọ ati yiyara ju MCMC, ati awọn ohun elo ni ero ati igbero nibiti 'wa iṣeto agbara ti o kere julọ’ nipa ti n ṣalaye iṣapeye ati itẹlọrun ihamọ.
Real-World imuse
Awọn nẹtiwọọki Hopfield n ṣiṣẹ bi iranti ibaramu ti o ranti ilana ti o fipamọ lati ariwo tabi titẹ apakan nipa gbigbe si ipo agbara-kekere
Awọn ẹrọ Boltzmann ti o ni ihamọ ti a lo ni itan-akọọlẹ fun sisẹ ifowosowopo ati iṣaju awọn nẹtiwọọki igbagbọ jinlẹ
Tuntumọ olupilẹṣẹ boṣewa bi awoṣe ti o da lori agbara (ọna JEM) lati mu iwọntunwọnsi pọ si, agbara, ati wiwa pinpin kaakiri
Asọtẹlẹ ti a ṣeto ati itẹlọrun ihamọ, nibiti a ti rii awọn ojutu nipasẹ didinkun agbara ikẹkọ lori ọpọlọpọ awọn oniyipada ibaraenisepo (fun apẹẹrẹ, iṣiro iduro tabi ifilelẹ)
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Energy-Based Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn awoṣe Generative ti o da lori Dimegilio
Awọn ibeere ti a beere nigbagbogbo
What is Energy-Based Models?
Awọn awoṣe ti o da lori agbara (EBMs) kọ ẹkọ iṣẹ ‘agbara’ ti iwọn ti o fi awọn iye kekere si data ti o ṣeeṣe ati awọn iye giga si data aiṣedeede, ti n ṣalaye pinpin iṣeeṣe lai fi ipa mu u rọrun lati ṣe deede. Irọrun yii jẹ ki wọn jẹ lẹnsi isokan fun pupọ ti ẹkọ ẹrọ, lati awọn ikawe si awọn awoṣe ipilẹṣẹ.
Ninu awoṣe ti o da lori agbara, bawo ni agbara ṣe ni ibatan si iṣeeṣe aaye data kan?
Nipasẹ pinpin Boltzmann, p (x) jẹ iwọn si exp (-E (x)), nitorinaa data ti o ṣeeṣe ti pin agbara kekere ati iṣeeṣe giga.
Kini o jẹ ki awọn awoṣe ti o da lori agbara ikẹkọ nira?
Iṣiro Z nbeere akopọ tabi iṣakojọpọ exp(-E(x)) lori gbogbo aaye igbewọle, eyiti ko ṣee ṣe ni gbogbogbo, fi ipa mu awọn ọna ikẹkọ isunmọ.
Ọna iṣapẹẹrẹ wo ni a lo nigbagbogbo lati fa awọn ayẹwo lati EBM kan?
Iṣeduro Langevin leralera n gbe awọn ayẹwo lọ si isalẹ pẹlu iwọn agbara lakoko ti o nfi ariwo kun, ni idapọ si awọn agbegbe ti o ni agbara kekere.
Kini idi ti awọn ọna bii ibaramu Dimegilio yago fun ṣiṣe iṣiro iṣẹ ipin Z?
Niwọn igba ti Z ko dale lori x, iyatọ log p(x) pẹlu ọwọ si x fagilee rẹ, nlọ nikan ni itọsi agbara, eyiti o ṣee ṣe.
Ewo ninu iwọnyi jẹ awoṣe ti o da lori agbara?
Awọn nẹtiwọọki Hopfield jẹ awoṣe ti o da lori agbara ni kutukutu ti o tọju awọn ilana bi awọn ipinlẹ agbara-kekere ati ranti wọn nipa idinku agbara.