Imọ Itọsọna
Adam ati Adaptive Optimizers
Adam jẹ oluṣapejuwe iṣẹ-iṣẹ lẹhin ọpọlọpọ awọn nẹtiwọọki nkankikan ode oni, yiyi oṣuwọn ikẹkọ lọtọ laifọwọyi fun gbogbo paramita.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
O ṣe pataki nitori pe o jẹ ki ikẹkọ awọn awoṣe jinlẹ yiyara ati pe o kere si finicky ju isalẹ gradient lọ.
Jin Dive
Adam (Aṣaro akoko Adaptive), ti a ṣe nipasẹ Kingma ati Ba ni 2014, dapọ awọn ero meji. Ni akọkọ, ipa: o tọju aropin ibajẹ lasan ti awọn gradients ti o kọja (akoko akọkọ) nitorinaa awọn imudojuiwọn kọ iyara ni awọn itọsọna deede. Ẹlẹẹkeji, fun-paramita igbelosoke: o tọpasẹ aropin ti squared gradients (awọn keji akoko) ati ki o pin kọọkan igbese nipa awọn square root ti iye yẹn, ki paramita pẹlu nla, alariwo gradients ya kere awọn igbesẹ ti ati ki o ṣọwọn-imudojuiwọn ti o tobi igbese. Iyipada yii tumọ si pe o le nigbagbogbo lo oṣuwọn ẹkọ kan kọja gbogbo nẹtiwọọki kan. Iyatọ kan, AdamW, decouples idibajẹ iwuwo lati imudojuiwọn gradient ati pe o ti di aiyipada fun ikẹkọ awọn oluyipada nla ati awọn awoṣe ede.
Real-World imuse
Ikẹkọ awọn awoṣe ede nla bi GPT ati Llama, eyiti o lo AdamW gẹgẹbi olupilẹṣẹ boṣewa.
Ṣiṣatunṣe didara didara aworan ti a ti kọkọ tẹlẹ (fun apẹẹrẹ, ResNet) lori iwe data aṣa kan pẹlu oṣuwọn ikẹkọ Adamu aifọwọṣe kan.
Ikẹkọ awọn awoṣe itankale lẹhin awọn olupilẹṣẹ aworan gẹgẹbi Itupalẹ Stable.
Ṣiṣẹ Adam 8-bit ni awọn ile-ikawe bii bitsandbytes lati baamu awọn ipinlẹ iṣapeye sinu iranti GPU ti o lopin.
Ojo iwaju ti Adam ati Adaptive Optimizers
Adam ati AdamW wa gaba lori, ṣugbọn iwadi ti wa ni titari si ṣiṣe fun aimọye-paramita awọn awoṣe, ibi ti o ti fipamọ meji afikun iye fun àdánù jẹ gbowolori. Awọn iyatọ ina iranti bi Adafactor, Adam 8-bit, ati awọn iṣapeye tuntun bii kiniun (eyiti o nlo ipa ti o da lori ami nikan) ati Sophia ṣe ifọkansi lati baramu didara Adam pẹlu iranti ti o dinku tabi isọpọ yiyara. Reti awọn iṣapeye aṣamubadọgba aifwy pataki fun pinpin, ikẹkọ konge kekere lati tẹsiwaju idagbasoke.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Adam and Adaptive Optimizers quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Adam ati Adaptive Optimizers?
Adam jẹ oluṣapejuwe iṣẹ-iṣẹ lẹhin ọpọlọpọ awọn nẹtiwọọki nkankikan ode oni, yiyi oṣuwọn ikẹkọ lọtọ laifọwọyi fun gbogbo paramita. O ṣe pataki nitori pe o jẹ ki ikẹkọ awọn awoṣe ti o jinlẹ ni iyara ati pe o kere si finicky ju isunmọ gradient itele.
Awọn iwọn meji wo ni Adam tọpinpin fun paramita kọọkan?
Adam tọju aropin ibajẹ ti o pọju ti awọn gradients (akoko akọkọ) ati ti awọn gradients onigun mẹrin (akoko keji) fun gbogbo paramita.
Kini idi ti Adam fi lo atunṣe aibikita si awọn iṣiro akoko rẹ?
Mejeeji m ati v wa ni initialized si odo, ki tete nkan ti wa ni abosi kekere; pinpin nipasẹ (1 - beta ^t) ṣe atunṣe eyi.
Kini iyatọ akọkọ laarin Adam ati AdamW?
AdamW kan ibajẹ iwuwo taara si awọn iwuwo dipo ki o dapọ mọ ọrọ isọdi aṣamubadọgba, eyiti o ṣe ilọsiwaju gbogbogbo ni awọn oluyipada.
Kini ipa wo ni ọrọ epsilon kekere ṣe ninu ofin imudojuiwọn Adam?
Epsilon (ni ayika 1e-8) ti wa ni afikun si iyeida ki awọn paramita pẹlu isunmọ-odo onigunwọn iwọn gradient ko fa bugbamu.
Kí nìdí tí a fi sábà máa ń ṣàpèjúwe Ádámù gẹ́gẹ́ bí ‘amúparadà’?
Nipa pipin nipasẹ gbòngbo onigun mẹrin ti aropin onigunwọn onigun mẹrin paramita kọọkan, Adam ṣe iwọn iwọn igbesẹ fun paramita dipo lilo iye agbaye kan.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii