InayofuataMwongozo unaofuata
Lookahead na Simba Optimizers
Kiufundi
MWONGOZO wa Kiufundi
Maelezo na Malengo ya SimCLR
InfoNCE ni hasara tofauti ambayo hufunza muundo kuunganisha jozi zinazolingana na kusukuma jozi zisizolingana kando katika kupachika nafasi.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
SimCLR ni mfumo muhimu ambao ulitumia hasara hii kujifunza uwasilishaji thabiti wa picha kutoka kwa data isiyo na lebo, ikishindana na mafunzo ya awali yanayosimamiwa.
Dive ya kina
InfoNCE (Ukadiriaji Unaopingana na Kelele kwa taarifa za pande zote) hufunza programu ya kusimba ili hoja na chanya yake ya kweli ziwe na alama ya juu ya mfanano kuliko hoja na hasi nyingi. Kimsingi ni mtambuka wa softmax juu ya alama za kufanana: kwa nanga, chanya inapaswa kushinda dhidi ya hasi. SimCLR (2020) ilifanya kazi hii kwa picha: piga picha moja, tumia nyongeza mbili nasibu ili kuunda jozi chanya, tumia programu ya kusimba iliyoshirikiwa pamoja na kichwa cha makadirio, na utumie njia ya kawaida ya kupima halijoto (NT-Xent, lahaja ya InfoNCE) ili mionekano miwili iliyoimarishwa ivutie huku picha zingine zote kwenye kundi zifanye kama hasi. SimCLR ilionyesha kuwa uongezaji nguvu wa data, kichwa cha makadirio kisicho na mstari, saizi kubwa za bechi, na halijoto iliyoratibiwa pamoja huruhusu miundo inayojisimamia ilingane na inayosimamiwa kwenye ImageNet - bila lebo zozote wakati wa mafunzo ya mapema.
Utekelezaji wa Ulimwengu Halisi
SimCLR inafundisha mapema kisimbaji picha kwenye picha zisizo na lebo, kisha kurekebisha vyema seti ndogo iliyo na lebo ili kuainisha.
CLIP kwa kutumia lengo la InfoNCE ili kulinganisha picha na manukuu, kuwezesha uainishaji wa picha zisizo na picha.
Kuunda utaftaji wa kuona/urejeshaji ambapo picha zinazofanana hukaa karibu katika nafasi iliyofunzwa ya kupachika.
Mazoezi ya awali ya kujisimamia ya picha za matibabu au satelaiti ambapo lebo ni chache lakini data mbichi ni nyingi.
Mustakabali wa Malengo ya Taarifa na SimCLR
Malengo pinzani yanaenea zaidi ya SimCLR: CLIP hupatanisha picha na maandishi kwa kutumia InfoNCE katika njia mbalimbali, na hasara hiyo hiyo huendesha miundo ya sauti, video na urejeshaji. Utafiti sasa unapunguza utegemezi wa bechi kubwa na hasi nyingi kupitia benki za kumbukumbu (MoCo), au huondoa hasi dhahiri kabisa (BYOL, SimSiam, DINO). Tarajia uchanganyaji unaoendelea wa utofautishaji, kunereka, na uundaji wa vielelezo vya barakoa, na upangaji wa miundo mingi (maandishi, picha, sauti) kama kipeo kikuu cha miundo msingi.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the InfoNCE and SimCLR Objectives quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Malengo ya InfoNCE na SimCLR ni nini?
InfoNCE ni hasara tofauti ambayo hufunza muundo kuunganisha jozi zinazolingana na kusukuma jozi zisizolingana kando katika kupachika nafasi. SimCLR ni mfumo muhimu ambao ulitumia hasara hii kujifunza uwasilishaji thabiti wa picha kutoka kwa data isiyo na lebo, ikishindana na mafunzo ya awali yanayosimamiwa.
Je, lengo la InfoNCE linahimiza mwanamitindo kufanya nini?
InfoNCE ni upeo wa juu juu ya ufanano ambao hutuza ufanano wa hali ya juu kwa mfanano chanya wa kweli na wa chini kwa hasi.
Katika SimCLR, jozi chanya inaundwaje?
SimCLR inazalisha jozi chanya kutoka kwa maoni mawili yaliyoongezwa ya picha ya chanzo sawa; picha zingine hutumika kama hasi.
Joto τ lina jukumu gani katika NT-Xent / InfoNCE?
Kugawanya mfanano kwa τ kabla ya softmax kudhibiti jinsi upotevu unavyotofautisha chanya na hasi ngumu.
Ni nini kinatokea kwa kichwa cha makadirio ya SimCLR baada ya kufanya mazoezi ya awali?
SimCLR iligundua kuwa vipengele kabla ya uhamishaji wa kichwa cha makadirio ni bora zaidi, kwa hivyo kichwa hutupwa baada ya mafunzo ya awali.
Kwa nini SimCLR ilitegemea saizi kubwa za batch?
Katika SimCLR picha zingine kwenye kundi hufanya kama hasi, kwa hivyo beti kubwa hutoa hasi zaidi na ujifunzaji thabiti.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii