Dulmar
Yaraynta Ogsoonaanta-Awareer (SAM) waa hab wanaajin oo aan raadin khasaare hoose laakiin khasaare hoose ee dhammaan xaafad miisaan - ugu yaraan siman. Flatter minima waxay u janjeertaa inay si ka sii wanaagsan u soo koobto, sidaa darteed SAM waxay inta badan wanaajisaa saxnaanta tijaabada iyo adkeynta iyada oo aan la beddelin qaab dhismeedka moodeelka.
Yaraynta Ogaanshaha-Fikirka waa dhisme farsamo oo saameeya tayada moodeelka, kharashka kaabayaasha, daahitaanka, iyo isku halaynta cabbirka.
quusitaanka qoto dheer
Tababarka caadiga ah wuxuu yareeyaa lumitaanka hal dhibic oo miisaan ah, laakiin laba xal oo leh isla khasaaraha tababarka ayaa u dhaqmi kara si aad u kala duwan: 'fiiqan' ugu yaraan wuxuu ku fadhiyaa dooxada cidhiidhiga ah halkaas oo culeysyada yaryar ay kor u qaadaan khasaaraha, halka ugu yar ee 'flat' uu u dulqaadanayo dhibka oo caadi ahaan si fiican u soo koobaya xogta aan la arki karin. SAM, oo ay soo bandhigeen Google cilmi-baarayaal 2020, ayaa tan si cad u dhigaya. Tallaabo kasta waxa ay marka hore helaysaa qaska miisaanka u dhow (gudahood radius rho ah) kaas oo kor u qaada khasaaraha - deriska kiiskiisa ugu xun - ka dibna cusbooneysiiya miisaankii asalka ahaa si loo yareeyo khasaaraha meeshaas qallafsan. Hadafkan min-max wuxuu u riixayaa hagaajinta xagga gobollada isku midka ah, oo si muuqata u soo bandhigaya guud ahaan ka wanaagsan xagga soocidda sawirka iyo wixii ka dambeeya.
Aragtida Farsamada
Tallaabo kasta oo SAM ah waa laba baas. Marka hore, ku xisaabi gradient ee miisaanka hadda oo qaado tallaabo 'kor u fuul' cabbir cabbir rho jihada gradient si aad u gaarto meesha ugu xun ee u dhow. Marka labaad, ku xisaabi jaan-goynta meesha qallafsan oo isticmaal si aad u cusboonaysiiso miisaankii asalka ahaa. Radius rho ayaa maamula inta ay le'eg tahay xaafad aad ka ilaalinayso. Kharashku waa qiyaastii laba baas oo hore-u-socod ah tallaabo kasta, taas oo labanlaabanaysa xisaabinta - cilladda ugu weyn ee la taaban karo.
Hagaajinta fiiqan-ka warhaynta yaraynta
Yaraynta Ogsoonaanta-Awareer (SAM) waa hab wanaajin oo aan raadin khasaare hoose laakiin khasaare hoose ee dhammaan xaafad miisaan - ugu yaraan siman. Flatter minima waxay u janjeertaa inay si ka sii wanaagsan u soo koobto, sidaa darteed SAM waxay inta badan wanaajisaa saxnaanta tijaabada iyo adkeynta iyada oo aan la beddelin qaab dhismeedka moodeelka. Yaraynta Ogaanshaha-Fikirka waa dhisme farsamo oo saameeya tayada moodeelka, kharashka kaabayaasha, daahitaanka, iyo isku halaynta cabbirka. Si loo dhiso faham qoto dheer, ula dhaqan Yaraynta Sharpness-Aware sidii qaab hawleed, ma aha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku u samayn karo si la isku halleyn karo iyo waxa weli u baahan xukun khabiir.
Ficil ahaan, kooxaha xoogga leh ee isticmaalaya Yaraynta Sharpness-Aware waxay wanaajiyaan qaab dhismeedka, xogta, iyo doorashooyinka kaabayaasha lidka ku ah isku halaynta iyo qiimaha. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha. Isla mar ahaantaana, hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.
Saamaynta Istiraatijiyadeed
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Dhaqangelinta Adduunka-dhabta ah
Kobcinta Transformer Vision iyo saxnaanta ResNet ee ImageNet iyadoo la tababarayo SAM bedelkii SGD cad.
Hagaajinta adkaynta in lagu calaamadiyo buuqa, maadaama minima gurigu ay aad ugu yar tahay inay xafidaan sumadaha kharriban.
Hagaajinta qaababka luqadda hore loo tababaray ee SAM si loo helo xog guud oo wanaagsan oo ku saabsan kaydka hoose ee hoose.
Isticmaalka noocyada ESAM ama LookSAM marka qiimaha labanlaaban ee xisaabinta vanilj SAM uu aad qaali u yahay.
Hababka Dhaqangelinta
Yaraynta Ogaal-ka-fican ee ficil ahaan
Kobcinta Transformer Vision iyo saxnaanta ResNet ee ImageNet iyadoo la tababarayo SAM bedelkii SGD cad.
Kobcinta Transformer Vision iyo saxnaanta ResNet ee ImageNet iyadoo la tababarayo SAM halkii ay ka ahaan lahaayeen kooxaha SGD ee cad waxay caadi ahaan helaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Yaraynta Ogaal-ka-fican ee ficil ahaan
Hagaajinta adkaynta in lagu calaamadiyo buuqa, maadaama minima gurigu ay aad ugu yar tahay inay xafidaan sumadaha kharriban.
Hagaajinta adkaynta in lagu calaamadiyo buuqa, maadaama minima gurigu ay aad ugu yar tahay inay xafidaan sumadaha kharriban Kooxuhu inta badan waxay helayaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Yaraynta Ogaal-ka-fican ee ficil ahaan
Hagaajinta qaababka luqadda hore loo tababaray ee SAM si loo helo xog guud oo wanaagsan oo ku saabsan kaydka hoose ee hoose.
Hagaajinta qaababka luqadeed ee horay loo tababbaray ee SAM si loo helo guud ahaan guud ahaan xog-ururinta hoose Kooxuhu caadi ahaan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadista bini'aadamka ee kiisaska cirifka ah, oo ay la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Yaraynta Ogaal-ka-fican ee ficil ahaan
Isticmaalka noocyada ESAM ama LookSAM marka qiimaha labanlaaban ee xisaabinta vanilj SAM uu aad qaali u yahay.
Isticmaalka kala duwanaanshaha ESAM ama LookSAM marka qiimaha labanlaaban ee xisaabinta vanilj SAM uu aad qaali u yahay Kooxuhu inta badan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka ah waqti ka dib.
Khatarta & Dariiqyada Ilaalada
Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Qorshe Hawleedka Dhaqangelinta
Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.