InayofuataMwongozo unaofuata
Uboreshaji wa Sera ya Uhusiano ya Kikundi
Kiufundi
MWONGOZO wa Kiufundi
Uboreshaji wa Agizo la Pili na Mbinu za Newton
Uboreshaji wa mpangilio wa pili hutumia maelezo ya mpindano (matriki ya Hessian ya derivatives ya pili) kuchukua hatua nadhifu kuelekea kiwango cha chini zaidi, si tu mteremko.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
It can converge in dramatically fewer iterations than plain gradient descent, but the cost of computing curvature makes it tricky to scale.
Dive ya kina
Kushuka kwa gradient kunajua tu mteremko katika eneo lako la sasa, kwa hivyo huchagua saizi isiyobadilika au iliyopangwa kwa mkono na kutumaini bora. Njia ya Newton inakwenda zaidi: pia inaangalia jinsi mteremko unavyobadilika (curvature), iliyokamatwa na Hessian, matrix ya derivatives ya pili ya sehemu. Sasisho huzidisha Hessian kinyume na upinde rangi, ambayo huweka upya kiotomatiki kila mwelekeo na kutua karibu na kiwango cha chini cha makadirio ya quadratic ya ndani. Kwa bakuli la quadratic kikamilifu, njia ya Newton hufikia chini kwa hatua moja. Ukamataji ni wa kikatili: mfano ulio na vigezo vya N una N-by-N Hessian, kwa hivyo kuhifadhi na kugeuza kunagharimu takriban kumbukumbu ya N-mraba na compute ya N-cubed. Kwa mitandao ya bilioni-parameter hiyo haiwezekani, ndiyo sababu watendaji hutumia makadirio ya bei nafuu.
Utekelezaji wa Ulimwengu Halisi
L-BFGS inayolingana na urekebishaji wa vifaa na miundo mingine mbonyeo katika scikit-learn, ambapo mara nyingi hushinda mteremko wa upinde rangi wazi kwenye hifadhidata ndogo hadi za kati.
Marekebisho ya kifurushi katika uundaji upya wa 3D na SLAM, ambapo Gauss-Newton na Levenberg-Marquardt huboresha kamera na misimamo ya pointi.
Kufunza mitandao midogo midogo ya neva yenye ufahamu wa fizikia ambapo L-BFGS inafanikisha usahihi ambao Adamu anajitahidi kufikia.
Shampoo na K-FAC kuharakisha mafunzo makubwa ya kina kwa kukadiria muundo wa Hessian.
Mustakabali wa Uboreshaji wa Agizo la Pili na Mbinu za Newton
Kwa mitandao mikubwa ya neva, mbinu kamili za mpangilio wa pili husalia kuwa zisizowezekana, lakini makadirio yanaongezeka. Viboreshaji kama vile K-FAC na Shampoo mpindano wa kukadiria kwa kutumia muundo wa block-diagonal au Kronecker-factored, na mbinu mpya zaidi kama vile Sophia na Muon hutumia makadirio ya bei nafuu ya curvature ili kuharakisha mafunzo ya awali ya muundo wa lugha. Tarajia juhudi zinazoendelea za kunasa mawimbi muhimu ya mpindano kwa gharama ya karibu ya agizo la kwanza, kupunguza mwango kati ya hatua za Adam na Newton halisi.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Second-Order Optimization and Newton Methods quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Second-Order Optimization and Newton Methods?
Uboreshaji wa mpangilio wa pili hutumia maelezo ya mpindano (matriki ya Hessian ya derivatives ya pili) kuchukua hatua nadhifu kuelekea kiwango cha chini zaidi, si tu mteremko. Inaweza kuungana kwa marudio machache sana kuliko mteremko wa upinde rangi wazi, lakini gharama ya mkunjo wa kompyuta huifanya iwe vigumu kuongeza ukubwa.
Je, ni habari gani ambayo njia ya Newton hutumia ambayo asili ya upinde rangi isiyo na kipenyo haifanyi?
Mbinu ya Newton huongeza upinde rangi kwa mpindano kutoka kwa Hessian, na kuifanya ibadilishe mwelekeo na kukadiria kiwango cha chini cha quadratic cha ndani.
Kwa lengo la mara nne kamili, ni hatua ngapi njia ya Newton inahitaji kufikia kiwango cha chini zaidi?
Kwenye quadratic kamili, muundo wa ndani wa quadratic ni sawa na utendaji wa kweli, kwa hivyo hatua moja ya Newton inaruka moja kwa moja hadi kiwango cha chini zaidi.
Kwa nini njia kamili ya Newton haiwezi kutumika kwa mitandao ya neural ya parameta bilioni?
Na vigezo vya N Hessian ina maingizo ya N-mraba na kugeuza mizani kama N-cubed, ambayo haiwezekani kwa mabilioni ya vigezo.
Je! njia za quasi-Newton kama BFGS hufanya nini ili kuzuia gharama ya Hessian?
BFGS husasisha mara kwa mara makadirio ya Hessian kinyume kwa kutumia mabadiliko katika upinde rangi kati ya hatua, kuepuka ukokotoaji wa moja kwa moja.
L-BFGS inapunguzaje kumbukumbu ikilinganishwa na BFGS?
'L' inawakilisha kumbukumbu-pungufu: L-BFGS huhifadhi vekta chache tu za hivi majuzi, na hivyo kupunguza uhifadhi kutoka N-mraba hadi takriban kigawe kidogo cha N.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii