Adam ati Adaptive Optimizers
Adam jẹ oluṣapejuwe iṣẹ-iṣẹ lẹhin ọpọlọpọ awọn nẹtiwọọki nkankikan ode oni, yiyi oṣuwọn ikẹkọ lọtọ laifọwọyi fun gbogbo paramita.
Akopọ
O ṣe pataki nitori pe o jẹ ki ikẹkọ awọn awoṣe jinlẹ yiyara ati pe o kere si finicky ju isalẹ gradient lọ.
Jin Dive
Adam (Aṣaro akoko Adaptive), ti a ṣe nipasẹ Kingma ati Ba ni 2014, dapọ awọn ero meji. Ni akọkọ, ipa: o tọju aropin ibajẹ lasan ti awọn gradients ti o kọja (akoko akọkọ) nitorinaa awọn imudojuiwọn kọ iyara ni awọn itọsọna deede. Ẹlẹẹkeji, fun-paramita igbelosoke: o tọpasẹ aropin ti squared gradients (awọn keji akoko) ati ki o pin kọọkan igbese nipa awọn square root ti iye yẹn, ki paramita pẹlu nla, alariwo gradients ya kere awọn igbesẹ ti ati ki o ṣọwọn-imudojuiwọn ti o tobi igbese. Iyipada yii tumọ si pe o le nigbagbogbo lo oṣuwọn ẹkọ kan kọja gbogbo nẹtiwọọki kan. Iyatọ kan, AdamW, decouples idibajẹ iwuwo lati imudojuiwọn gradient ati pe o ti di aiyipada fun ikẹkọ awọn oluyipada nla ati awọn awoṣe ede.
Imọ-imọ-ẹrọ
Adam n ṣetọju awọn iwọn ṣiṣe meji fun paramita: m (awọn gradients) ati v (awọn gradients onigun mẹrin), imudojuiwọn pẹlu awọn oṣuwọn ibajẹ beta1 (ni deede 0.9) ati beta2 (ni deede 0.999). Nitoripe awọn mejeeji bẹrẹ ni odo, wọn jẹ atunṣe-aiṣedeede nipasẹ pipin nipasẹ (1 - beta ^ t). Imudojuiwọn naa jẹ theta = theta - lr * m_hat / (sqrt (v_hat) + epsilon), nibiti epsilon (ni ayika 1e-8) ṣe idiwọ pipin nipasẹ odo. Eyi ni idi ti Adam nilo atunṣe oṣuwọn-ẹkọ kekere ni akawe si SGD itele.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Adam ati Adaptive Optimizers
Adam ati AdamW wa gaba lori, ṣugbọn iwadi ti wa ni titari si ṣiṣe fun aimọye-paramita awọn awoṣe, ibi ti o ti fipamọ meji afikun iye fun àdánù jẹ gbowolori. Awọn iyatọ ina iranti bi Adafactor, Adam 8-bit, ati awọn iṣapeye tuntun bii kiniun (eyiti o nlo ipa ti o da lori ami nikan) ati Sophia ṣe ifọkansi lati baramu didara Adam pẹlu iranti ti o dinku tabi isọpọ yiyara. Reti awọn iṣapeye aṣamubadọgba aifwy pataki fun pinpin, ikẹkọ konge kekere lati tẹsiwaju idagbasoke.
Real-World imuse
Ikẹkọ awọn awoṣe ede nla bi GPT ati Llama, eyiti o lo AdamW gẹgẹbi olupilẹṣẹ boṣewa.
Ṣiṣatunṣe didara didara aworan ti a ti kọkọ tẹlẹ (fun apẹẹrẹ, ResNet) lori iwe data aṣa kan pẹlu oṣuwọn ikẹkọ Adamu aifọwọṣe kan.
Ikẹkọ awọn awoṣe itankale lẹhin awọn olupilẹṣẹ aworan gẹgẹbi Itupalẹ Stable.
Ṣiṣẹ Adam 8-bit ni awọn ile-ikawe bii bitsandbytes lati baamu awọn ipinlẹ iṣapeye sinu iranti GPU ti o lopin.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Adam and Adaptive Optimizers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
ZeRO ati Sharded Optimizers
Awọn ibeere ti a beere nigbagbogbo
Kini Adam ati Adaptive Optimizers?
Adam jẹ oluṣapejuwe iṣẹ-iṣẹ lẹhin ọpọlọpọ awọn nẹtiwọọki nkankikan ode oni, yiyi oṣuwọn ikẹkọ lọtọ laifọwọyi fun gbogbo paramita. O ṣe pataki nitori pe o jẹ ki ikẹkọ awọn awoṣe ti o jinlẹ ni iyara ati pe o kere si finicky ju isunmọ gradient itele.
Awọn iwọn meji wo ni Adam tọpinpin fun paramita kọọkan?
Adam tọju aropin ibajẹ ti o pọju ti awọn gradients (akoko akọkọ) ati ti awọn gradients onigun mẹrin (akoko keji) fun gbogbo paramita.
Kini idi ti Adam fi lo atunṣe aibikita si awọn iṣiro akoko rẹ?
Mejeeji m ati v wa ni initialized si odo, ki tete nkan ti wa ni abosi kekere; pinpin nipasẹ (1 - beta ^t) ṣe atunṣe eyi.
Kini iyatọ akọkọ laarin Adam ati AdamW?
AdamW kan ibajẹ iwuwo taara si awọn iwuwo dipo ki o dapọ mọ ọrọ isọdi aṣamubadọgba, eyiti o ṣe ilọsiwaju gbogbogbo ni awọn oluyipada.
Kini ipa wo ni ọrọ epsilon kekere ṣe ninu ofin imudojuiwọn Adam?
Epsilon (ni ayika 1e-8) ti wa ni afikun si iyeida ki awọn paramita pẹlu isunmọ-odo onigunwọn iwọn gradient ko fa bugbamu.
Kí nìdí tí a fi sábà máa ń ṣàpèjúwe Ádámù gẹ́gẹ́ bí ‘amúparadà’?
Nipa pipin nipasẹ gbòngbo onigun mẹrin ti aropin onigunwọn onigun mẹrin paramita kọọkan, Adam ṣe iwọn iwọn igbesẹ fun paramita dipo lilo iye agbaye kan.