InayofuataMwongozo unaofuata
Empirical Risk Minimization
Misingi
MWONGOZO wa Kiufundi
Sharpness-Aware Minimization
Sharpness-Aware Minimization (SAM) ni njia ya uboreshaji ambayo haitafuti hasara ya chini tu bali hasara ndogo katika eneo zima la uzani - kiwango cha chini kabisa.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Flatter minima tend to generalize better, so SAM often improves test accuracy and robustness without changing the model architecture.
Dive ya kina
Mafunzo ya kawaida hupunguza upotezaji katika hatua moja ya nafasi ya uzani, lakini suluhu mbili zilizo na upotezaji sawa wa mafunzo zinaweza kuwa tofauti sana: kiwango cha chini cha 'mkali' hukaa kwenye bonde nyembamba ambapo misukosuko midogo ya uzani huongeza upotezaji, wakati kiwango cha chini cha 'gorofa' huvumilia usumbufu na kwa kawaida huleta data kwa ujumla bora kwa data isiyoonekana. SAM, iliyoletwa na Google watafiti mnamo 2020, inaweka hili wazi. Katika kila hatua kwanza hupata msukosuko wa uzito ulio karibu (ndani ya kipenyo kidogo cha rho) ambayo huongeza hasara - jirani ya hali mbaya zaidi - kisha kusasisha uzani wa asili ili kupunguza upotezaji katika hatua hiyo ya kutatanisha. Lengo hili la kiwango cha juu zaidi husukuma uboreshaji kuelekea maeneo ambayo ni ya chini kwa usawa, na kutoa ujanibishaji bora zaidi juu ya uainishaji wa picha na zaidi.
Utekelezaji wa Ulimwengu Halisi
Kukuza Kibadilishaji Maono na usahihi wa ResNet kwenye ImageNet kwa kufanya mazoezi na SAM badala ya SGD ya kawaida.
Kuboresha uimara wa kuweka lebo kelele, kwa kuwa flat minima kuna uwezekano mdogo wa kukariri lebo zilizoharibika.
Badilisha vizuri miundo ya lugha iliyofunzwa na SAM ili kupata ujanibishaji bora kwenye seti ndogo za data za chini.
Kutumia vibadala vya ESAM au LookSAM wakati gharama ya kukokotoa mara mbili ya vanilla SAM ni ghali sana.
Mustakabali wa Kupunguza Ufahamu wa Ukali
SAM imezalisha ufuatiliaji unaolenga udhaifu wake mkubwa zaidi, hesabu iliyoongezeka maradufu: vibadala vinavyofaa kama vile ESAM, LookSAM, na mbinu zinazosumbua tu sehemu ndogo ya uzani au kutumia SAM kila baada ya hatua chache. SAM inayojirekebisha (ASAM) hurekebisha kipenyo ili kibadilike kwa kiwango. Watafiti wanaendelea kujadili ni kwa nini unene husaidia na jinsi ya kuupima, na mawazo yanayofahamu ukali yanaenea kwa kurekebisha miundo mikubwa ya lugha na kuboresha uimara wa mabadiliko ya usambazaji.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Sharpness-Aware Minimization quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Sharpness-Aware Minimization?
Sharpness-Aware Minimization (SAM) ni njia ya uboreshaji ambayo haitafuti hasara ya chini tu bali hasara ndogo katika eneo zima la uzani - kiwango cha chini kabisa. Flatter minima huwa na jumla bora, kwa hivyo SAM mara nyingi huboresha usahihi wa mtihani na uimara bila kubadilisha usanifu wa mfano.
Ni aina gani ya kiwango cha chini ambacho SAM hujaribu kupata?
SAM inalenga kiwango cha chini kwa sababu upotevu unaosalia kuwa mdogo chini ya misukosuko midogo ya uzani huwa na jumla bora kwa data isiyoonekana.
Je, hatua ya SAM ya kawaida inahitaji pasi ngapi za kwenda nyuma?
SAM hukokotoa upinde rangi ili kupata sehemu iliyo karibu yenye hali mbaya zaidi, kisha upinde rangi mwingine hapo ili kusasisha - takriban mara mbili ya gharama ya kawaida.
Je, radius hyperparameta rho inadhibiti nini katika SAM?
Rho anaweka jinsi hatua ya 'kupaa' inasonga ili kupata jirani aliye katika hali mbaya zaidi, akifafanua jinsi SAM ya eneo tambarare inatafuta.
Je, ni hatua gani ya kwanza kati ya hatua mbili za SAM kwa kila marudio?
SAM kwanza huvuruga uzani ndani ya kipenyo cha rho katika mwelekeo unaoongeza upotevu, kisha kushuka kutoka sehemu ya awali kwa kutumia kipenyo kilichokokotwa hapo.
Kwa nini SAM mara nyingi huboresha uimara wa kuweka lebo kelele?
Kukariri lebo zenye kelele kwa kawaida huhitaji minima kali na nyembamba; kwa kupendelea maeneo tambarare, SAM inapinga utumiaji huo kupita kiasi.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii