Ẹkọ Iyatọ
Ẹkọ itansan nkọ awoṣe lati fa awọn nkan ti o jọra pọ ati Titari awọn nkan ti o yatọ si yato si ni aaye ifibọ.
Akopọ
It matters because it lets AI learn powerful representations from mostly unlabeled data, powering image search, recommendations, and multimodal models.
Jin Dive
Dipo ti asọtẹlẹ aami kan, ẹkọ iyatọ kọ ẹkọ nipa lafiwe: fun ohun kan oran, awoṣe ti ni ikẹkọ ki awọn ilẹ 'rere' ti o baamu sunmọ rẹ ni aaye fekito lakoko ti kii ṣe ibaamu 'awọn odi' ilẹ ti o jinna. Ohunelo ti o ni abojuto ti ara ẹni ti o wọpọ (bii SimCLR) ṣẹda awọn idaniloju nipa gbigbe awọn augmentations laileto meji ti aworan kanna (irugbin, jitter awọ, blur); ohun gbogbo ti o wa ninu ipele jẹ odi. Awoṣe maapu awọn igbewọle si awọn adaṣe ati ipadanu kan san ere ibajọra giga fun bata ati ibajọra kekere fun iyoku. Eyi ṣe agbejade awọn ifibọ nibiti ijinna ṣe afihan itumọ, nitorinaa iṣẹ-ṣiṣe ti o wa ni isalẹ nilo awọn aami ti o kere ju. CLIP kan ero kanna ni gbogbo awọn ilana, awọn aworan ti o baamu si awọn akọle wọn.
Imọ-imọ-ẹrọ
Pipadanu ẹṣin iṣẹ jẹ InfoNCE (softmax lori awọn ikun ibajọra), nigbagbogbo pẹlu ibajọra cosine ti o pin nipasẹ iwọn otutu ti o ṣakoso bii awọn anfani to muna ni ojurere. Ni pataki, iṣẹ ṣiṣe dara si pẹlu ọpọlọpọ awọn odi, nitorinaa awọn ipele nla tabi banki iranti / isinyi (bii ninu MoCo) pese wọn. Diẹ ninu awọn ọna bii BYOL ati SimSiam ju awọn odi ti ko boju mu silẹ ati dipo lo ipa kan tabi nẹtiwọọki ibi-afẹde-iduro lati yago fun iṣubu, nibiti gbogbo awọn ifibọ di aami kanna.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Ẹkọ Iyatọ
Ẹkọ itansan n ṣajọpọ pẹlu iboju-boju ati abojuto ara ẹni ti ipilẹṣẹ sinu awọn ibi-afẹde arabara ti o mu ibajọra agbaye mejeeji ati awọn alaye to dara. Ipa rẹ ti o tobi julọ jẹ multimodal: ọrọ-aworan ti o ni ibamu ni iyatọ (ati ni bayi ohun ati fidio) awọn ifibọ ṣe atilẹyin wiwa, iran imupadabọ, ati ipin-shot odo, ati pe ẹsẹ ẹsẹ yoo dagba. Reti iṣẹ diẹ sii lori idinku ifẹkufẹ fun awọn ipele nla, lori imudara ti o dara julọ ati awọn ọgbọn iwakusa odi, ati lori faagun ọna si awọn agbegbe bii aworan iṣoogun ati jara akoko nibiti awọn aami ko to ati gbowolori.
Real-World imuse
CLIP kikọ aaye ọrọ-aworan pínpín ki o le wa ile-ikawe fọto kan pẹlu gbolohun ti a tẹ bi 'aja lori skateboard'.
Ṣiṣe ikẹkọ ẹhin iran pẹlu SimCLR lori awọn fọto ti ko ni aami, lẹhinna yiyi ti o dara fun wiwa arun pẹlu ṣeto aami kekere kan.
Ọja ile tabi awọn iṣeduro orin nibiti awọn ifibọ awọn ohun kan ti olumulo fẹran joko ni isunmọ papọ fun igbapada-aladuugbo to sunmọ.
Awọn ọna ṣiṣe idaniloju oju ti o kọ awọn ifibọ nitoribẹẹ awọn fọto meji ti eniyan kanna wa nitosi ati pe awọn eniyan oriṣiriṣi yatọ si yato si.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Contrastive Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ẹkọ Apapo
Awọn ibeere ti a beere nigbagbogbo
What is Contrastive Learning?
Ẹkọ itansan nkọ awoṣe lati fa awọn nkan ti o jọra pọ ati Titari awọn nkan ti o yatọ si yato si ni aaye ifibọ. O ṣe pataki nitori pe o jẹ ki AI kọ awọn aṣoju ti o lagbara lati data ti ko ni aami pupọ julọ, wiwa aworan ti o ni agbara, awọn iṣeduro, ati awọn awoṣe multimodal.
Kini idi pataki ti ẹkọ iyatọ?
Ẹkọ itansan ṣe apẹrẹ aaye ifisinu nitoribẹẹ awọn orisii ibaamu wa nitosi ati pe awọn orisii ti ko baamu ni o yato si.
Ni ọna aworan ti o ni abojuto ti ara ẹni bii SimCLR, bawo ni a ṣe ṣẹda batapọ rere ni igbagbogbo?
SimCLR ṣe agbekalẹ awọn idaniloju lati awọn iwo afikun meji ti aworan kan, pẹlu awọn aworan miiran ninu ipele ti n ṣiṣẹ bi awọn odi.
Iṣẹ ipadanu wo ni o ni nkan ṣe pẹlu ẹkọ iyatọ?
InfoNCE, softmax kan lori awọn ikun ibajọra pẹlu iwọn otutu kan, jẹ ibi-afẹde iyatọ boṣewa.
Kini idi ti awọn ọna bii MoCo lo banki iranti tabi isinyi?
Awọn anfani ẹkọ iyatọ lati ọpọlọpọ awọn odi; isinyi n pese wọn lakoko ti o tọju iwọn ipele iṣakoso.
Iṣoro wo ni BYOL ati SimSiam ṣe aabo ni pataki laisi lilo awọn odi ti o fojuhan?
Laisi awọn odi, awoṣe kan le ṣe maapu ohun gbogbo lainidi si fekito kanna; idaduro-gradient ati awọn ibi-afẹde ipa ṣe idiwọ iṣubu yii.