Uboreshaji wa Agizo la Pili na Mbinu za Newton
Uboreshaji wa mpangilio wa pili hutumia maelezo ya mpindano (matriki ya Hessian ya derivatives ya pili) kuchukua hatua nadhifu kuelekea kiwango cha chini zaidi, si tu mteremko.
Muhtasari
It can converge in dramatically fewer iterations than plain gradient descent, but the cost of computing curvature makes it tricky to scale.
Dive ya kina
Kushuka kwa gradient kunajua tu mteremko katika eneo lako la sasa, kwa hivyo huchagua saizi isiyobadilika au iliyopangwa kwa mkono na kutumaini bora. Njia ya Newton inakwenda zaidi: pia inaangalia jinsi mteremko unavyobadilika (curvature), iliyokamatwa na Hessian, matrix ya derivatives ya pili ya sehemu. Sasisho huzidisha Hessian kinyume na upinde rangi, ambayo huweka upya kiotomatiki kila mwelekeo na kutua karibu na kiwango cha chini cha makadirio ya quadratic ya ndani. Kwa bakuli la quadratic kikamilifu, njia ya Newton hufikia chini kwa hatua moja. Ukamataji ni wa kikatili: mfano ulio na vigezo vya N una N-by-N Hessian, kwa hivyo kuhifadhi na kugeuza kunagharimu takriban kumbukumbu ya N-mraba na compute ya N-cubed. Kwa mitandao ya bilioni-parameter hiyo haiwezekani, ndiyo sababu watendaji hutumia makadirio ya bei nafuu.
Ufahamu wa Kiufundi
Usasishaji wa msingi wa Newton ni x_new = x - H_inverse mara gradient, ambapo H ni Hessian. Mbinu za Quasi-Newton kama vile BFGS na L-BFGS huepuka kuweka kompyuta H moja kwa moja kwa kujenga ukadiriaji unaoendana wa kinyume chake kutoka kwa tofauti zinazofuatana za upinde rangi. L-BFGS huhifadhi gradient chache za mwisho na vekta za hatua badala ya tumbo kamili, ikikata kumbukumbu kutoka N-mraba hadi kigawe kidogo cha N huku ikihifadhi kasi kubwa ya muunganisho.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Uboreshaji wa Agizo la Pili na Mbinu za Newton
Kwa mitandao mikubwa ya neva, mbinu kamili za mpangilio wa pili husalia kuwa zisizowezekana, lakini makadirio yanaongezeka. Viboreshaji kama vile K-FAC na Shampoo mpindano wa kukadiria kwa kutumia muundo wa block-diagonal au Kronecker-factored, na mbinu mpya zaidi kama vile Sophia na Muon hutumia makadirio ya bei nafuu ya curvature ili kuharakisha mafunzo ya awali ya muundo wa lugha. Tarajia juhudi zinazoendelea za kunasa mawimbi muhimu ya mpindano kwa gharama ya karibu ya agizo la kwanza, kupunguza mwango kati ya hatua za Adam na Newton halisi.
Utekelezaji wa Ulimwengu Halisi
L-BFGS inayolingana na urekebishaji wa vifaa na miundo mingine mbonyeo katika scikit-learn, ambapo mara nyingi hushinda mteremko wa upinde rangi wazi kwenye hifadhidata ndogo hadi za kati.
Marekebisho ya kifurushi katika uundaji upya wa 3D na SLAM, ambapo Gauss-Newton na Levenberg-Marquardt huboresha kamera na misimamo ya pointi.
Kufunza mitandao midogo midogo ya neva yenye ufahamu wa fizikia ambapo L-BFGS inafanikisha usahihi ambao Adamu anajitahidi kufikia.
Shampoo na K-FAC kuharakisha mafunzo makubwa ya kina kwa kukadiria muundo wa Hessian.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Second-Order Optimization and Newton Methods quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Uboreshaji wa Sera ya Uhusiano ya Kikundi
Maswali yanayoulizwa mara kwa mara
What is Second-Order Optimization and Newton Methods?
Uboreshaji wa mpangilio wa pili hutumia maelezo ya mpindano (matriki ya Hessian ya derivatives ya pili) kuchukua hatua nadhifu kuelekea kiwango cha chini zaidi, si tu mteremko. Inaweza kuungana kwa marudio machache sana kuliko mteremko wa upinde rangi wazi, lakini gharama ya mkunjo wa kompyuta huifanya iwe vigumu kuongeza ukubwa.
Je, ni habari gani ambayo njia ya Newton hutumia ambayo asili ya upinde rangi isiyo na kipenyo haifanyi?
Mbinu ya Newton huongeza upinde rangi kwa mpindano kutoka kwa Hessian, na kuifanya ibadilishe mwelekeo na kukadiria kiwango cha chini cha quadratic cha ndani.
Kwa lengo la mara nne kamili, ni hatua ngapi njia ya Newton inahitaji kufikia kiwango cha chini zaidi?
Kwenye quadratic kamili, muundo wa ndani wa quadratic ni sawa na utendaji wa kweli, kwa hivyo hatua moja ya Newton inaruka moja kwa moja hadi kiwango cha chini zaidi.
Kwa nini njia kamili ya Newton haiwezi kutumika kwa mitandao ya neural ya parameta bilioni?
Na vigezo vya N Hessian ina maingizo ya N-mraba na kugeuza mizani kama N-cubed, ambayo haiwezekani kwa mabilioni ya vigezo.
Je! njia za quasi-Newton kama BFGS hufanya nini ili kuzuia gharama ya Hessian?
BFGS husasisha mara kwa mara makadirio ya Hessian kinyume kwa kutumia mabadiliko katika upinde rangi kati ya hatua, kuepuka ukokotoaji wa moja kwa moja.
L-BFGS inapunguzaje kumbukumbu ikilinganishwa na BFGS?
'L' inawakilisha kumbukumbu-pungufu: L-BFGS huhifadhi vekta chache tu za hivi majuzi, na hivyo kupunguza uhifadhi kutoka N-mraba hadi takriban kigawe kidogo cha N.