Up tókànItọsọna atẹle
Lookahead ati kiniun Optimizers
Imọ-ẹrọ
Imọ Itọsọna
Alaye ati Awọn Ifojusi SimCLR
InfoNCE jẹ ipadanu iyatọ ti o nkọ awoṣe lati fa awọn orisii ibaramu papọ ati Titari awọn orisii ti ko baramu ni aaye ifibọ.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
SimCLR jẹ ilana aami ti o lo pipadanu yii lati kọ awọn aṣoju aworan ti o lagbara lati data ti a ko ni aami, ti o ni idije pẹlu ikẹkọ iṣaaju.
Jin Dive
InfoNCE (Ariwo-Idaniloju Ifoju fun ifitonileti ibaraenisepo) kọ kooduopo kan ki ibeere kan ati rere tootọ ni Dimegilio ibajọra ti o ga ju ibeere naa ati ọpọlọpọ awọn odi. O jẹ pataki kan softmax agbelebu-entropy lori awọn ikun ibajọra: fun oran, rere yẹ ki o ṣẹgun lodi si awọn odi. SimCLR (2020) ṣiṣẹ eyi fun awọn aworan: ya aworan kan, lo awọn afikun laileto meji lati ṣẹda bata to dara, ṣiṣe mejeeji nipasẹ koodu koodu pinpin pẹlu ori asọtẹlẹ kan, ati lo iwọn otutu iwọn otutu deede-entropy (NT-Xent, iyatọ Alaye) nitorinaa awọn iwo afikun meji ṣe ifamọra lakoko ti gbogbo awọn aworan miiran ninu ipele naa ṣe bi odi. SimCLR fihan pe imudara data ti o lagbara, ori asọtẹlẹ ti kii ṣe laini, awọn iwọn ipele nla, ati iwọn otutu aifwy papọ jẹ ki awọn awoṣe abojuto ti ara ẹni baamu awọn abojuto ti ImageNet - laisi awọn aami eyikeyi lakoko ikẹkọ iṣaaju.
Real-World imuse
SimCLR ṣe ikẹkọ koodu koodu aworan kan lori awọn fọto ti ko ni aami, lẹhinna yiyi ti o dara lori ṣeto aami kekere fun isọdi.
CLIP ni lilo ibi-afẹde Alaye kan lati ba awọn aworan mu pẹlu awọn akọle wọn, ti o nmu isọdi-shot aworan le mu ṣiṣẹ.
Ṣiṣe wiwa wiwo / imupadabọ nibiti awọn aworan ti o jọra joko ni isunmọ ni aaye ifisinu ti ẹkọ.
Ikẹkọ iṣaju ti ara ẹni fun iṣoogun tabi aworan satẹlaiti nibiti awọn aami ko ṣọwọn ṣugbọn data aise jẹ lọpọlọpọ.
Ọjọ iwaju ti Alaye ati Awọn ibi-afẹde SimCLR
Awọn ibi-afẹde itansan tan kaakiri SimCLR: CLIP ṣe afiwe awọn aworan pẹlu ọrọ nipa lilo Alaye kọja awọn ilana, ati adanu kanna n ṣe awakọ ohun, fidio, ati awọn awoṣe imupadabọ. Iwadi bayi dinku igbẹkẹle lori awọn ipele nla ati ọpọlọpọ awọn odi nipasẹ awọn banki iranti (MoCo), tabi yọkuro awọn odi ti o fojuhan patapata (BYOL, SimSiam, DINO). Reti itesiwaju idapọ ti itansan, distillation, ati iṣaju iṣapẹẹrẹ awoṣe iboju, pẹlu titete multimodal (ọrọ, aworan, ohun) gẹgẹbi aala ti o ga julọ fun awọn awoṣe ipilẹ.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the InfoNCE and SimCLR Objectives quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini awọn ibi-afẹde InfoNCE ati SimCLR?
InfoNCE jẹ ipadanu iyatọ ti o nkọ awoṣe lati fa awọn orisii ibaramu papọ ati Titari awọn orisii ti ko baramu ni aaye ifibọ. SimCLR jẹ ilana ala-ilẹ ti o lo pipadanu yii lati kọ ẹkọ awọn aṣoju aworan ti o lagbara lati data ti ko ni aami, ti njijadu iṣaju iṣaju abojuto.
Kini ipinnu Alaye ṣe iwuri fun awoṣe lati ṣe?
InfoNCE jẹ softmax lori awọn ibajọra ti o san ere ibajọra giga fun rere otitọ ati ibajọra kekere fun awọn odi.
Ni SimCLR, bawo ni a ṣe ṣẹda bata rere?
SimCLR ṣe agbekalẹ bata meji ti o dara lati awọn iwo afikun meji ti aworan orisun kanna; miiran images sin bi ODI.
Ipa wo ni iwọn otutu τ ṣe ninu NT-Xent / Alaye?
Pipin awọn ibajọra nipasẹ τ ṣaaju iṣakoso softmax bii ipadanu naa ṣe yato si awọn rere lati awọn odi lile.
Kini yoo ṣẹlẹ si ori asọtẹlẹ SimCLR lẹhin ikẹkọ iṣaaju?
SimCLR rii pe awọn ẹya ṣaaju gbigbe ori asọtẹlẹ dara julọ, nitorinaa a da ori kuro lẹhin ikẹkọ iṣaaju.
Kini idi ti SimCLR ṣe gbẹkẹle awọn iwọn ipele nla?
Ni SimCLR awọn aworan miiran ti o wa ninu ipele ṣiṣẹ bi awọn odi, nitorinaa awọn ipele ti o tobi julọ fun awọn odi diẹ sii ati ẹkọ ti o lagbara.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii