Lookahead ati kiniun Optimizers
Lookahead ati Kiniun jẹ awọn iyipo ode oni meji lori iṣapeye nẹtiwọọki nkankikan.
Akopọ
Lookahead fi ipari si eyikeyi iṣapeye ipilẹ pẹlu awọn iwuwo 'o lọra' ati 'iyara' fun ilọsiwaju iduroṣinṣin diẹ sii, lakoko ti Kiniun (EvoLved Sign Momentum) ni a ṣe awari nipasẹ wiwa eto AI ati ṣe imudojuiwọn awọn iwuwo nipa lilo ami ti ọrọ ipa nikan — ṣiṣe ni iranti-ina ati nigbagbogbo yiyara ju Adam lọ.
Jin Dive
Lookahead, ti a dabaa nipasẹ Zhang, Hinton ati awọn ẹlẹgbẹ ni ọdun 2019, n ṣiṣẹ iṣapeye 'yara' boṣewa kan (bii Adam tabi SGD) fun awọn igbesẹ k, lẹhinna nudge lọtọ ṣeto ti awọn iwuwo 'o lọra' ida kan ti ọna si ibiti awọn iwuwo iyara ti pari. Eyi dẹkun awọn oscillations ati dinku ifamọ si awọn hyperparameters. Kiniun, ti a ṣejade nipasẹ Google ni ọdun 2023, jade kuro ni wiwa eto aami lori awọn algoridimu iṣapeye. O tọpa ipa ṣugbọn o kan iṣẹ ami si imudojuiwọn naa, nitorinaa gbogbo paramita n gbe nipasẹ iwọn igbesẹ ti o wa titi ni itọsọna ti ami isọdọtun ikojọpọ. Kiniun tọjú nikan ifipamọ ipa (idaji ipinle Adam, eyiti o tọju meji), nlo ibajẹ iwuwo ti o tobi ati iwọn ẹkọ ti o kere ju, ati pe o ti baamu tabi lu Adam lori iran nla ati awọn awoṣe ede lakoko ikẹkọ yiyara ati din owo.
Imọ-imọ-ẹrọ
Imudojuiwọn Lookhead: lẹhin k awọn igbesẹ iyara ti n ṣe awọn iwuwo θ_fast, awọn iwuwo lọra gbe bi φ ← φ + α(θ_fast - φ), lẹhinna oluṣapejuwe iyara yoo tunto si φ. Imudojuiwọn kiniun: m ← β1·m + (1-β1) · g fun interpolation, ṣugbọn igbesẹ iwuwo jẹ θ ← θ - η· (ami (β2 · m + (1-β2) · g) + λθ). Iṣiṣẹ ami naa jẹ ki gbogbo aṣọ iwọn imudojuiwọn ipoidojuko, eyiti o ṣe bii isọdi deede ati ṣalaye idi ti Kiniun nilo oṣuwọn ikẹkọ ti o kere pupọ ju Adam lọ.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Lookahead ati Kiniun Optimizers
Kiniun ti gba ni ọpọlọpọ awọn ṣiṣe ikẹkọ iwọn-nla nitori pe o ge iranti iṣapeye ati pe o le mu isọpọ pọ si, ati pe iṣawari rẹ ṣe afihan wiwa algorithm adaṣe 'AI-designing-AI' bi orisun gidi ti awọn anfani to wulo. Reti diẹ sii awọn iṣapeye ti ariwakiri, awọn ero arabara ti o dapọ awọn iwuwo lọra-ara Lookahead pẹlu awọn imudojuiwọn ti o da lori ami, ati iwulo dagba si awọn iṣapeye-daradara iranti bi awọn iwọn awoṣe ṣe n tẹnumọ awọn isuna iranti GPU.
Real-World imuse
Fi ipari si Adam pẹlu Lookahead lati ṣe iduroṣinṣin ikẹkọ ti awọn oluyipada ati dinku akitiyan yiyi hyperparameter.
Lilo Kiniun lati ṣe ikẹkọ awọn awoṣe iran nla (fun apẹẹrẹ, ViT) pẹlu iranti iṣapeye kekere ju Adam lọ.
Ṣiṣe ikẹkọ awọn awoṣe ede pẹlu kiniun lati ṣaṣeyọri iṣedede afiwera ni iye owo iṣiro ti o dinku.
Apapọ Lookahead pẹlu SGD ni awọn aṣoju imuduro-ẹkọ lati dan awọn imudojuiwọn eto imulo ariwo.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lookahead and Lion Optimizers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iṣakojọpọ Ipinle Optimizer si Sipiyu ati NVMe
Awọn ibeere ti a beere nigbagbogbo
Kini Lookahead ati Lion Optimizers?
Lookahead ati Kiniun jẹ awọn iyipo ode oni meji lori iṣapeye nẹtiwọọki nkankikan. Lookhead murasilẹ eyikeyi ipilẹ optimizer pẹlu 'o lọra' ati 'sare' òṣuwọn fun diẹ idurosinsin ilọsiwaju, nigba ti kiniun (EvoLved Sign Momentum) a ti se awari nipa ohun AI eto ati ki o imudojuiwọn òṣuwọn lilo nikan ni ami ti a akoko ipa — ṣiṣe awọn ti o iranti-ina ati igba yiyara ju Adam.
Kini igbesẹ iširo asọye ninu imudojuiwọn iwuwo kiniun ti o dara ju?
Kiniun n lo iṣẹ ami si igba akoko ti a fiweranṣẹ, nitorinaa gbogbo paramita n gbe nipasẹ igbesẹ aṣọ kan ni itọsọna ami gradient.
Bawo ni Lookhead ṣe ilana iṣapeye rẹ?
Lookahead nṣiṣẹ imudara inu iyara fun awọn igbesẹ k, lẹhinna gbe awọn iwuwo lọra ni ida kan ninu ọna si awọn iwọn iyara ati awọn atunto.
Bawo ni a ṣe rii iṣaju kiniun ni akọkọ?
Kiniun (EvoLved Sign Momentum) jade lati ilana wiwa eto kan ti o ṣe agbekalẹ ati iṣiro awọn eto imudara oludije.
Ni afiwe pẹlu Adam, kini anfani iranti bọtini ti Kiniun?
Adam orin mejeeji akọkọ ati keji asiko; Kiniun ntọju ifipamọ ipa kan ṣoṣo, ni aijọju idaji iranti ipo iṣapeye.
Kini idi ti Kiniun nigbagbogbo nilo oṣuwọn ẹkọ ti o kere ju Adam lọ?
Niwọn igba ti iṣẹ ami n ṣe atunṣe titobi ti imudojuiwọn ipoidojuko kọọkan, igbesẹ ti o munadoko jẹ nla, nitorinaa oṣuwọn ẹkọ ti o kere ju (ati ibajẹ iwuwo nla) ti lo.