Ipilẹṣẹ Ibere keji ati Awọn ọna Newton
Ipilẹṣẹ aṣẹ-keji nlo alaye ìsépo (matrix Hessian ti awọn itọsẹ keji) lati ṣe awọn igbesẹ ijafafa si ọna ti o kere ju, kii ṣe ite nikan.
Akopọ
O le pejọ ni awọn itọsi ti o dinku pupọ ju isunmọ gradient lasan, ṣugbọn idiyele ti ìsépo iširo jẹ ki o jẹ ẹtan lati ṣe iwọn.
Jin Dive
Isọkalẹ gradient nikan mọ ite ni aaye lọwọlọwọ rẹ, nitorinaa o yan iwọn igbesẹ ti o wa titi tabi aifwy ọwọ ati nireti fun ohun ti o dara julọ. Ọna Newton lọ siwaju: o tun n wo bi ite naa ṣe n yipada (ipari), ti Hessian ti mu, matrix ti gbogbo awọn itọsẹ apa keji. Imudojuiwọn naa ṣe isodipupo Hessian onidakeji nipasẹ gradient, eyiti o ṣe atunṣe itọsọna kọọkan laifọwọyi ati awọn ilẹ nitosi o kere ju ti isunmọ kuadiratiki agbegbe kan. Fun ọpọn kuadiratiki pipe, ọna Newton de isalẹ ni igbesẹ kan. Apeja naa jẹ buru ju: awoṣe pẹlu awọn aye N ni Hessian N-nipasẹ-N, nitorinaa titoju ati yiyipada rẹ jẹ idiyele aijọju iranti N-squared ati iṣiro N-cubed. Fun awọn nẹtiwọki paramita bilionu ti ko ṣee ṣe, eyiti o jẹ idi ti awọn oṣiṣẹ lo awọn isunmọ din owo.
Imọ-imọ-ẹrọ
Imudojuiwọn mojuto Newton jẹ x_new = x - H_inverse igba ni gradient, nibiti H jẹ Hessian. Awọn ọna Quasi-Newton bii BFGS ati L-BFGS yago fun iširo H taara nipa kikọ isunmọ isunmọ ti onidakeji rẹ lati awọn iyatọ gradient ti o tẹle. L-BFGS tọjú nikan awọn ti o kẹhin diẹ gradient ati igbese vectors dipo ti awọn kikun matrix, gige iranti lati N-squared to kan kekere ọpọ ti N nigba ti fifi julọ ti awọn convergence iyara.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Ipilẹṣẹ Ipilẹṣẹ Keji ati Awọn ọna Newton
Fun awọn nẹtiwọọki nkankikan omiran, awọn ọna aṣẹ aṣẹ-keji ni kikun duro ko wulo, ṣugbọn isunmọ ti n gba ilẹ. Awọn oluṣapejuwe bii K-FAC ati Shampoo isunmọ ìsépo nipa lilo diagonal-diagonal tabi eto-ifosiwewe Kronecker, ati awọn ọna tuntun bii Sophia ati Muon lo awọn iṣiro ìsépo olowo poku lati mu iyara iṣaju awoṣe ede nla pọ si. Reti igbiyanju ti o tẹsiwaju lati mu ifihan agbara ìsépo ti o wulo ni idiyele-ibere-akọkọ, didin aafo laarin Adam ati awọn igbesẹ Newton tootọ.
Real-World imuse
L-BFGS ifasilẹ awọn eekaderi ibamu ati awọn awoṣe convex miiran ni scikit-kẹẹkọ, nibiti o ti n lu isunmọ itele ti itele lori kekere si awọn ipilẹ data alabọde
Atunṣe lapapo ni atunkọ 3D ati SLAM, nibiti Gauss-Newton ati Levenberg-Marquardt ṣe atunṣe kamẹra duro ati awọn ipo aaye
Ikẹkọ awọn nẹtiwọọki alakikan ti o ni alaye fisiksi nibiti L-BFGS ṣe aṣeyọri deede ti Adam tiraka lati de ọdọ.
Shampulu ati K-FAC n mu ikẹkọ ikẹkọ jinlẹ ni iwọn nla nipa isunmọ eto Hessian
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Second-Order Optimization and Newton Methods quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ẹgbẹ ibatan Afihan Iṣapeye
Awọn ibeere ti a beere nigbagbogbo
Kini Iṣapejuwe Ibere-keji ati Awọn ọna Newton?
Ipilẹṣẹ aṣẹ-keji nlo alaye ìsépo (matrix Hessian ti awọn itọsẹ keji) lati ṣe awọn igbesẹ ijafafa si ọna ti o kere ju, kii ṣe ite nikan. O le ṣajọpọ ni awọn itọsi ti o dinku pupọ ju isunmọ gradient lasan, ṣugbọn idiyele ti ìsépo iširo jẹ ki o jẹ ẹtan lati ṣe iwọn.
Alaye wo ni ọna Newton ko lo ti isundi-diẹdi pẹlẹbẹ ko?
Ọna Newton ṣe alekun iwọn didun pẹlu ìsépo lati Hessian, jẹ ki o tun awọn itọnisọna ṣe ati isunmọ iwọn kuadiratiki agbegbe ti o kere ju.
Fun ibi-afẹde onigun pipe, awọn igbesẹ melo ni ọna Newton nilo lati de ibi ti o kere julọ?
Lori ohun gangan kuadiratiki, awọn agbegbe kuadiratiki awoṣe dogba awọn otito iṣẹ, ki ọkan Newton igbese fo ni gígùn si kere.
Kini idi ti ọna Newton ni kikun ko ṣe iwulo fun awọn nẹtiwọọki nkankikan-iparamita bilionu?
Pẹlu awọn paramita N Hessian ni awọn titẹ sii N-squared ati yiyipada rẹ awọn iwọn bi N-cubed, eyiti ko ṣee ṣe ni awọn ọkẹ àìmọye awọn aye.
Kini awọn ọna quasi-Newton bii BFGS ṣe lati yago fun idiyele Hessian?
BFGS ṣe imudojuiwọn iwọntunwọnsi ti onidakeji Hessian nipa lilo awọn ayipada ninu gradient laarin awọn igbesẹ, yago fun iṣiro taara.
Bawo ni L-BFGS dinku iranti akawe si BFGS?
'L' naa duro fun iranti-lopin: L-BFGS ntọju iwonba kan ti awọn olutọpa aipẹ, idinku ibi ipamọ lati N-squared si aijọju iwọn kekere ti N.