BYOL ati Abojuto ti ara ẹni ti ko ni iyatọ
BYOL (Bootstrap Tirẹ Latent) kọ ẹkọ awọn aṣoju aworan ti o wulo laisi eyikeyi awọn akole ati, iyalẹnu, laisi awọn apẹẹrẹ odi.
Akopọ
O fihan pe ẹkọ ti o ni abojuto ti ara ẹni ko nilo lati gbẹkẹle titari si awọn aworan ti o yatọ, ni ilodi si iwulo fun awọn ipele nla ti awọn odi.
Jin Dive
Pupọ julọ awọn ọna abojuto ti ara ẹni ni kutukutu jẹ iyatọ: wọn fa awọn iwo afikun meji ti aworan kanna papọ lakoko titari awọn aworan oriṣiriṣi yato si, eyiti o nilo ọpọlọpọ awọn apẹẹrẹ odi lati yago fun iṣubu (nibiti nẹtiwọọki n ṣe agbejade fekito kanna fun ohun gbogbo). BYOL, lati DeepMind ni ọdun 2020, yọkuro awọn odi patapata. O nlo awọn nẹtiwọki meji: nẹtiwọki ori ayelujara ati nẹtiwọki afojusun kan. Awọn iwo afikun meji ti aworan kan lọ nipasẹ awọn nẹtiwọọki meji; Nẹtiwọọki ori ayelujara n ṣafikun ori asọtẹlẹ ati pe o ni ikẹkọ lati ṣe asọtẹlẹ aṣoju nẹtiwọọki ibi-afẹde ti iwo miiran. Ni pataki, awọn iwuwo nẹtiwọọki ibi-afẹde ko jẹ ikẹkọ nipasẹ irandiwọn. Dipo wọn jẹ aropin gbigbe alapin (EMA) ti awọn iwuwo ori ayelujara. Asymmetry yii pẹlu ibi-afẹde EMA ṣe idilọwọ awọn ọna idayatọ iṣubu bintin ti o bẹru, ibaamu tabi lilu awọn ipilẹ itansan lori ImageNet.
Imọ-imọ-ẹrọ
Awọn eroja mẹta da duro laisi awọn odi: MLP asọtẹlẹ afikun lori ẹka ori ayelujara, idaduro-gradient lori ẹka ibi-afẹde, ati ibi-afẹde imudojuiwọn-EMA. Ibi-afẹde naa n ṣiṣẹ bi ibi-afẹde ipadasẹhin gbigbe laiyara, nitorinaa nẹtiwọọki ori ayelujara n lepa iduroṣinṣin, ibi-afẹde aisun dipo ẹda gbigbe ti ararẹ. Asymmetry ti asọtẹlẹ fọ ami-ami-ara ti yoo bibẹẹkọ jẹ ki awọn ẹka mejeeji jade lainidi igbagbogbo. Iṣe deede ipele ninu pirojekito tun ṣe alabapin isọdi deede.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti BYOL ati Abojuto ti ara ẹni ti ko ni iyatọ
Awọn imọran ti ko ni iyatọ ni bayi daduro pupọ ti iran abojuto ti ara ẹni. SimSiam yọ BYOL silẹ siwaju, fifihan ibi-afẹde EMA ko nilo ni muna ti o ba tọju idaduro-gradient, oye ti o jinlẹ ti idi ti a yago fun iṣubu. Reti awọn ilana ikẹkọ ti ko ni aami wọnyi lati tọju iṣọpọ pẹlu iṣapẹẹrẹ aworan iboju-boju ati ikẹkọ multimodal, ati lati tan kaakiri si fidio, ohun, aworan iṣoogun, ati awọn ẹrọ roboti nibiti awọn aami ti ṣọwọn tabi gbowolori, nigbagbogbo bi ipele iṣaju ṣaaju iṣatunṣe iwuwo fẹẹrẹ ni abojuto abojuto to dara.
Real-World imuse
Ṣiṣe ikẹkọ ẹhin iran lori awọn miliọnu awọn fọto ti ko ni aami, lẹhinna yiyi ti o dara julọ lori iwe data ti o ni aami-iṣoogun-iṣoro nibiti awọn asọye amoye ti ṣọwọn.
Awọn ẹya iwoye roboti ẹkọ lati awọn ṣiṣan kamẹra aise laisi aami-ọwọ, idinku idiyele ti awọn iṣẹ ifọwọyi ikọni.
Ṣiṣe atunṣe aworan ati awọn ọna ṣiṣe idinkuro nipa lilo awọn ifibọ BYOL ti o ṣe akojọpọ awọn aworan ti o jọra laisi eyikeyi awọn aami kilasi.
Bibẹrẹ satẹlaiti tabi awọn awoṣe aworan eriali lori awọn ile-ipamọ ti ko ni aami pupọ ṣaaju iṣatunṣe itanran fun lilo ilẹ tabi ipagborun isọdi.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BYOL and Non-Contrastive Self-Supervision quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Afarape-Labeling ati Ara-Ikẹkọ
Awọn ibeere ti a beere nigbagbogbo
Kini BYOL ati Abojuto ti ara ẹni ti ko ni iyatọ?
BYOL (Bootstrap Tirẹ Latent) kọ ẹkọ awọn aṣoju aworan ti o wulo laisi eyikeyi awọn akole ati, iyalẹnu, laisi awọn apẹẹrẹ odi. O fihan pe ẹkọ ti o ni abojuto ti ara ẹni ko nilo lati gbẹkẹle titari si awọn aworan ti o yatọ, ni ilodi si iwulo fun awọn ipele nla ti awọn odi.
Kini o jẹ ki BYOL ṣe iyatọ laarin awọn ọna abojuto ti ara ẹni ti akoko rẹ?
BYOL ṣe afihan ikẹkọ aṣoju ti o lagbara ṣee ṣe laisi awọn orisii odi, fifọ lati awọn isunmọ iyatọ.
Bawo ni a ṣe imudojuiwọn awọn iwuwo netiwọki ibi-afẹde ni BYOL?
Nẹtiwọọki ibi-afẹde jẹ EMA (ẹda gbigbe lọra) ti nẹtiwọọki ori ayelujara ati pe ko ṣe ikẹkọ nipasẹ isunmọ gradient.
Iṣoro wo ni eniyan bẹru pe yoo ṣẹlẹ nigbati o ba yọ awọn odi, ati kilode ti o ṣe pataki?
Laisi awọn odi, iṣeto ti o rọrun le ṣubu si iṣelọpọ igbagbogbo; Apẹrẹ BYOL ṣe idilọwọ eyi.
Apakan wo ni a ṣafikun si ẹka ori ayelujara nikan lati fọ aami-ara?
Ẹka ori ayelujara ni ori asọtẹlẹ afikun; asymmetry ti o ṣẹda jẹ bọtini lati yago fun iṣubu.
Kini nẹtiwọọki ori ayelujara ni ikẹkọ gangan lati ṣe?
BYOL dinku iyatọ laarin asọtẹlẹ ori ayelujara ati aṣoju ibi-afẹde ti iwo miiran.