InayofuataMwongozo unaofuata
ZeRO na Viboreshaji vilivyoshirikiwa
Kiufundi
MWONGOZO wa Kiufundi
Adamu na Viboreshaji vya Adaptive
Adam ndiye kiboreshaji kazi nyuma ya mitandao mingi ya kisasa ya neva, akipanga kiotomatiki kiwango tofauti cha kujifunza kwa kila kigezo.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Ni muhimu kwa sababu hufanya mafunzo ya mifano ya kina kuwa haraka na ya kufifia sana kuliko mteremko wa upinde rangi wazi.
Dive ya kina
Adam (Adaptive Moment Estimation), iliyoletwa na Kingma na Ba mwaka wa 2014, inachanganya mawazo mawili. Kwanza, kasi: huweka wastani unaooza sana wa gradient zilizopita (wakati wa kwanza) kwa hivyo masasisho hujenga kasi katika mwelekeo thabiti. Pili, kuongeza kwa kila parameta: hufuata wastani wa mikunjo ya mraba (wakati wa pili) na kugawanya kila hatua kwa mzizi wa mraba wa thamani hiyo, kwa hivyo vigezo vilivyo na miinuko mikubwa, yenye kelele huchukua hatua ndogo na zile ambazo hazijasasishwa mara chache huchukua hatua kubwa zaidi. Kubadilika huku kunamaanisha mara nyingi unaweza kutumia kiwango kimoja cha kujifunza kwenye mtandao mzima. Lahaja, AdamW, hutenganisha kuoza kwa uzito kutoka kwa sasisho la gradient na imekuwa chaguo-msingi ya kufunza vibadilishaji vibadilishaji vikubwa na miundo ya lugha.
Utekelezaji wa Ulimwengu Halisi
Kufunza miundo mikubwa ya lugha kama vile GPT na Llama, ambayo hutumia AdamW kama kiboreshaji cha kawaida.
Kurekebisha vizuri kiainishaji cha picha kilichofunzwa awali (k.m., ResNet) kwenye mkusanyiko maalum wa data ulio na kiwango chaguomsingi cha kujifunza cha Adamu.
Kufunza miundo ya usambaaji nyuma ya jenereta za picha kama vile Usambazaji Imara.
Inaendesha 8-bit Adam katika maktaba kama vile bitsandbytes ili kutoshea hali za viboreshaji kwenye kumbukumbu ndogo ya GPU.
Mustakabali wa Adamu na Viboreshaji Vinavyobadilika
Adam na AdamW wanasalia kutawala, lakini utafiti unasukuma ufanisi kwa mifano ya trilioni-parameta, ambapo kuhifadhi thamani mbili za ziada kwa uzito ni gharama kubwa. Vibadala vya mwanga wa kumbukumbu kama vile Adafactor, 8-bit Adam, na viboreshaji vipya zaidi kama vile Simba (ambayo hutumia kasi inayotegemea ishara) na Sophia inalenga kulinganisha ubora wa Adam na kumbukumbu kidogo au muunganisho wa haraka. Tarajia viboreshaji vinavyobadilika vilivyoundwa mahususi kwa mafunzo yaliyosambazwa, yenye usahihi wa chini ili kuendelea kubadilika.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Adam and Adaptive Optimizers quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Adam na Adaptive Optimizers ni nini?
Adam ndiye kiboreshaji kazi nyuma ya mitandao mingi ya kisasa ya neva, akipanga kiotomatiki kiwango tofauti cha kujifunza kwa kila kigezo. Ni muhimu kwa sababu hufanya mafunzo ya mifano ya kina kuwa haraka na ya kufifia sana kuliko mteremko wa upinde rangi wazi.
Je, Adamu anafuatilia idadi gani mbili kwa kila paramu?
Adam huhifadhi wastani unaooza sana wa mikunjo (wakati wa kwanza) na wa vijinyuzi vya mraba (wakati wa pili) kwa kila kigezo.
Kwa nini Adamu anatumia marekebisho ya upendeleo kwa makadirio yake ya wakati huu?
M na v zote mbili zimeanzishwa hadi sifuri, kwa hivyo makadirio ya mapema yana upendeleo wa chini; kugawanya kwa (1 - beta^t) husahihisha hili.
Ni tofauti gani kuu kati ya Adamu na AdamW?
AdamW hutumia kuoza kwa uzani moja kwa moja kwenye uzani badala ya kuichanganya katika neno la upinde rangi linalobadilika, ambalo huboresha ujanibishaji katika vibadilishaji vya kubadilisha.
Neno dogo la epsilon lina jukumu gani katika sheria ya sasisho ya Adamu?
Epsilon (karibu 1e-8) huongezwa kwenye kipunguzo ili vigezo vilivyo na wastani wa karibu sufuri wa mraba-gradient visisababishe mlipuko.
Kwa nini Adamu mara nyingi huelezewa kama 'adaptive'?
Kwa kugawanya kwa mzizi wa mraba wa wastani wa kila kigezo cha upinde rangi yenye mraba, Adamu hupima ukubwa wa hatua kwa kila kigezo badala ya kutumia thamani moja ya kimataifa.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii