Up tókànItọsọna atẹle
Iṣakojọpọ Ipinle Optimizer si Sipiyu ati NVMe
Imọ-ẹrọ
Imọ Itọsọna
Lookahead ati kiniun Optimizers
Lookahead ati Kiniun jẹ awọn iyipo ode oni meji lori iṣapeye nẹtiwọọki nkankikan.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Lookahead fi ipari si eyikeyi iṣapeye ipilẹ pẹlu awọn iwuwo 'o lọra' ati 'iyara' fun ilọsiwaju iduroṣinṣin diẹ sii, lakoko ti Kiniun (EvoLved Sign Momentum) ni a ṣe awari nipasẹ wiwa eto AI ati ṣe imudojuiwọn awọn iwuwo nipa lilo ami ti ọrọ ipa nikan — ṣiṣe ni iranti-ina ati nigbagbogbo yiyara ju Adam lọ.
Jin Dive
Lookahead, ti a dabaa nipasẹ Zhang, Hinton ati awọn ẹlẹgbẹ ni ọdun 2019, n ṣiṣẹ iṣapeye 'yara' boṣewa kan (bii Adam tabi SGD) fun awọn igbesẹ k, lẹhinna nudge lọtọ ṣeto ti awọn iwuwo 'o lọra' ida kan ti ọna si ibiti awọn iwuwo iyara ti pari. Eyi dẹkun awọn oscillations ati dinku ifamọ si awọn hyperparameters. Kiniun, ti a ṣejade nipasẹ Google ni ọdun 2023, jade kuro ni wiwa eto aami lori awọn algoridimu iṣapeye. O tọpa ipa ṣugbọn o kan iṣẹ ami si imudojuiwọn naa, nitorinaa gbogbo paramita n gbe nipasẹ iwọn igbesẹ ti o wa titi ni itọsọna ti ami isọdọtun ikojọpọ. Kiniun tọjú nikan ifipamọ ipa (idaji ipinle Adam, eyiti o tọju meji), nlo ibajẹ iwuwo ti o tobi ati iwọn ẹkọ ti o kere ju, ati pe o ti baamu tabi lu Adam lori iran nla ati awọn awoṣe ede lakoko ikẹkọ yiyara ati din owo.
Real-World imuse
Fi ipari si Adam pẹlu Lookahead lati ṣe iduroṣinṣin ikẹkọ ti awọn oluyipada ati dinku akitiyan yiyi hyperparameter.
Lilo Kiniun lati ṣe ikẹkọ awọn awoṣe iran nla (fun apẹẹrẹ, ViT) pẹlu iranti iṣapeye kekere ju Adam lọ.
Ṣiṣe ikẹkọ awọn awoṣe ede pẹlu kiniun lati ṣaṣeyọri iṣedede afiwera ni iye owo iṣiro ti o dinku.
Apapọ Lookahead pẹlu SGD ni awọn aṣoju imuduro-ẹkọ lati dan awọn imudojuiwọn eto imulo ariwo.
Ojo iwaju ti Lookahead ati Kiniun Optimizers
Kiniun ti gba ni ọpọlọpọ awọn ṣiṣe ikẹkọ iwọn-nla nitori pe o ge iranti iṣapeye ati pe o le mu isọpọ pọ si, ati pe iṣawari rẹ ṣe afihan wiwa algorithm adaṣe 'AI-designing-AI' bi orisun gidi ti awọn anfani to wulo. Reti diẹ sii awọn iṣapeye ti ariwakiri, awọn ero arabara ti o dapọ awọn iwuwo lọra-ara Lookahead pẹlu awọn imudojuiwọn ti o da lori ami, ati iwulo dagba si awọn iṣapeye-daradara iranti bi awọn iwọn awoṣe ṣe n tẹnumọ awọn isuna iranti GPU.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Lookahead and Lion Optimizers quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Lookahead ati Lion Optimizers?
Lookahead ati Kiniun jẹ awọn iyipo ode oni meji lori iṣapeye nẹtiwọọki nkankikan. Lookhead murasilẹ eyikeyi ipilẹ optimizer pẹlu 'o lọra' ati 'sare' òṣuwọn fun diẹ idurosinsin ilọsiwaju, nigba ti kiniun (EvoLved Sign Momentum) a ti se awari nipa ohun AI eto ati ki o imudojuiwọn òṣuwọn lilo nikan ni ami ti a akoko ipa — ṣiṣe awọn ti o iranti-ina ati igba yiyara ju Adam.
Kini igbesẹ iširo asọye ninu imudojuiwọn iwuwo kiniun ti o dara ju?
Kiniun n lo iṣẹ ami si igba akoko ti a fiweranṣẹ, nitorinaa gbogbo paramita n gbe nipasẹ igbesẹ aṣọ kan ni itọsọna ami gradient.
Bawo ni Lookhead ṣe ilana iṣapeye rẹ?
Lookahead nṣiṣẹ imudara inu iyara fun awọn igbesẹ k, lẹhinna gbe awọn iwuwo lọra ni ida kan ninu ọna si awọn iwọn iyara ati awọn atunto.
Bawo ni a ṣe rii iṣaju kiniun ni akọkọ?
Kiniun (EvoLved Sign Momentum) jade lati ilana wiwa eto kan ti o ṣe agbekalẹ ati iṣiro awọn eto imudara oludije.
Ni afiwe pẹlu Adam, kini anfani iranti bọtini ti Kiniun?
Adam orin mejeeji akọkọ ati keji asiko; Kiniun ntọju ifipamọ ipa kan ṣoṣo, ni aijọju idaji iranti ipo iṣapeye.
Kini idi ti Kiniun nigbagbogbo nilo oṣuwọn ẹkọ ti o kere ju Adam lọ?
Niwọn igba ti iṣẹ ami n ṣe atunṣe titobi ti imudojuiwọn ipoidojuko kọọkan, igbesẹ ti o munadoko jẹ nla, nitorinaa oṣuwọn ẹkọ ti o kere ju (ati ibajẹ iwuwo nla) ti lo.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii