Up tókànItọsọna atẹle
Afarape-Labeling ati Ara-Ikẹkọ
Imọ-ẹrọ
Imọ Itọsọna
BYOL ati Abojuto ti ara ẹni ti ko ni iyatọ
BYOL (Bootstrap Tirẹ Latent) kọ ẹkọ awọn aṣoju aworan ti o wulo laisi eyikeyi awọn akole ati, iyalẹnu, laisi awọn apẹẹrẹ odi.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
O fihan pe ẹkọ ti o ni abojuto ti ara ẹni ko nilo lati gbẹkẹle titari si awọn aworan ti o yatọ, ni ilodi si iwulo fun awọn ipele nla ti awọn odi.
Jin Dive
Pupọ julọ awọn ọna abojuto ti ara ẹni ni kutukutu jẹ iyatọ: wọn fa awọn iwo afikun meji ti aworan kanna papọ lakoko titari awọn aworan oriṣiriṣi yato si, eyiti o nilo ọpọlọpọ awọn apẹẹrẹ odi lati yago fun iṣubu (nibiti nẹtiwọọki n ṣe agbejade fekito kanna fun ohun gbogbo). BYOL, lati DeepMind ni ọdun 2020, yọkuro awọn odi patapata. O nlo awọn nẹtiwọki meji: nẹtiwọki ori ayelujara ati nẹtiwọki afojusun kan. Awọn iwo afikun meji ti aworan kan lọ nipasẹ awọn nẹtiwọọki meji; Nẹtiwọọki ori ayelujara n ṣafikun ori asọtẹlẹ ati pe o ni ikẹkọ lati ṣe asọtẹlẹ aṣoju nẹtiwọọki ibi-afẹde ti iwo miiran. Ni pataki, awọn iwuwo nẹtiwọọki ibi-afẹde ko jẹ ikẹkọ nipasẹ irandiwọn. Dipo wọn jẹ aropin gbigbe alapin (EMA) ti awọn iwuwo ori ayelujara. Asymmetry yii pẹlu ibi-afẹde EMA ṣe idilọwọ awọn ọna idayatọ iṣubu bintin ti o bẹru, ibaamu tabi lilu awọn ipilẹ itansan lori ImageNet.
Real-World imuse
Ṣiṣe ikẹkọ ẹhin iran lori awọn miliọnu awọn fọto ti ko ni aami, lẹhinna yiyi ti o dara julọ lori iwe data ti o ni aami-iṣoogun-iṣoro nibiti awọn asọye amoye ti ṣọwọn.
Awọn ẹya iwoye roboti ẹkọ lati awọn ṣiṣan kamẹra aise laisi aami-ọwọ, idinku idiyele ti awọn iṣẹ ifọwọyi ikọni.
Ṣiṣe atunṣe aworan ati awọn ọna ṣiṣe idinkuro nipa lilo awọn ifibọ BYOL ti o ṣe akojọpọ awọn aworan ti o jọra laisi eyikeyi awọn aami kilasi.
Bibẹrẹ satẹlaiti tabi awọn awoṣe aworan eriali lori awọn ile-ipamọ ti ko ni aami pupọ ṣaaju iṣatunṣe itanran fun lilo ilẹ tabi ipagborun isọdi.
Ojo iwaju ti BYOL ati Abojuto ti ara ẹni ti ko ni iyatọ
Awọn imọran ti ko ni iyatọ ni bayi daduro pupọ ti iran abojuto ti ara ẹni. SimSiam yọ BYOL silẹ siwaju, fifihan ibi-afẹde EMA ko nilo ni muna ti o ba tọju idaduro-gradient, oye ti o jinlẹ ti idi ti a yago fun iṣubu. Reti awọn ilana ikẹkọ ti ko ni aami wọnyi lati tọju iṣọpọ pẹlu iṣapẹẹrẹ aworan iboju-boju ati ikẹkọ multimodal, ati lati tan kaakiri si fidio, ohun, aworan iṣoogun, ati awọn ẹrọ roboti nibiti awọn aami ti ṣọwọn tabi gbowolori, nigbagbogbo bi ipele iṣaju ṣaaju iṣatunṣe iwuwo fẹẹrẹ ni abojuto abojuto to dara.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the BYOL and Non-Contrastive Self-Supervision quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini BYOL ati Abojuto ti ara ẹni ti ko ni iyatọ?
BYOL (Bootstrap Tirẹ Latent) kọ ẹkọ awọn aṣoju aworan ti o wulo laisi eyikeyi awọn akole ati, iyalẹnu, laisi awọn apẹẹrẹ odi. O fihan pe ẹkọ ti o ni abojuto ti ara ẹni ko nilo lati gbẹkẹle titari si awọn aworan ti o yatọ, ni ilodi si iwulo fun awọn ipele nla ti awọn odi.
What makes BYOL non-contrastive?
The BYOL paper highlights learning representations without negative pairs.
What does the online network learn to predict?
BYOL trains the online branch to predict the target representation across two views.
How are target-network weights updated?
The paper describes updating the target with a slow-moving average.
Why does BYOL use an online predictor and stop-gradient on the target side?
The BYOL method uses asymmetry and a stop-gradient as parts of its design.
What happens to two views of the same image in BYOL?
The paper learns by predicting one view’s target representation from another.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii