InfoNCE és SimCLR célkitűzések
Az InfoNCE az a kontrasztvesztés, amely arra tanítja a modellt, hogy a beágyazott térben összevonja az egyező párokat, és széttolja a nem illeszkedő párokat.
Áttekintés
SimCLR is a landmark framework that used this loss to learn powerful image representations from unlabeled data, rivaling supervised pretraining.
Mély merülés
Az InfoNCE (Kölcsönös információk zajkontrasztív becslése) úgy képezi ki a kódolót, hogy a lekérdezésnek és valódi pozitívjának magasabb hasonlósági pontszáma legyen, mint a lekérdezésnek, és sok negatívuma legyen. Ez lényegében egy softmax keresztentrópia a hasonlósági pontszámok felett: egy horgony esetében a pozitívnak kell győznie a negatívokkal szemben. A SimCLR (2020) ezt a képekre operacionalizálta: készítsen egy képet, alkalmazzon két véletlenszerű kiegészítést pozitív pár létrehozásához, mindkettőt egy megosztott kódolón és egy vetítőfejen futtassa, és használja a normalizált hőmérséklet-skálás keresztentrópiát (NT-Xent, egy InfoNCE-változat), így a két kibővített nézet vonzza, míg a köteg összes többi képe negatívként működik. A SimCLR kimutatta, hogy az erős adatkiegészítés, a nemlineáris vetítőfej, a nagy tételméretek és a beállított hőmérséklet együttesen lehetővé teszi, hogy az önfelügyelt modellek illeszkedjenek az ImageNet felügyelt modelljeihez – az előképzés során címkék nélkül.
Technikai betekintés
Az NT-Xent kiszámítja a koszinusz-hasonlóságot az L2-normalizált beágyazások között, elosztja a τ hőmérséklettel, és softmax keresztentrópiát alkalmaz, és a pozitívat helyes osztályként kezeli az összes kötegelt példában. Az alacsonyabb τ élesíti az eloszlást, és jobban bünteti a kemény negatívokat. A SimCLR vetítőfejét (egy MLP) csak az előképzés során használják, és utána eldobják – a fej átadása előtti ábrázolások jobbak. A nagy tételek számítanak, mert sok negatívot szállítanak egyetlen lépésben.
Stratégiai hatás
Költség és költségvetés
Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
Tisztább döntések
A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
Minőségellenőrzés
A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.
Az InfoNCE és a SimCLR célkitűzéseinek jövője
A kontrasztos célkitűzések messze túlmutatnak a SimCLR-en: a CLIP az InfoNCE segítségével igazítja a képeket a szöveghez, és ugyanaz a veszteség irányítja az audio-, videó- és visszakeresési modelleket. A kutatás most csökkenti a nagy tételektől és sok negatívtól való függőséget a memóriabankon (MoCo) keresztül, vagy teljesen eltávolítja az explicit negatívokat (BYOL, SimSiam, DINO). A kontrasztív, desztillációs és maszkos-modellezés előképzésének folyamatos keverésére számíthat, a multimodális igazítással (szöveg, kép, hang) az alapmodellek domináns határvonalaként.
Valós megvalósítás
A SimCLR előtanítja a képkódolót címkézetlen fényképeken, majd finomhangol egy kis címkés készleten az osztályozáshoz.
CLIP egy InfoNCE objektív használatával, hogy a képeket a feliratukkal illessze, lehetővé téve a zéró felvételes képosztályozást.
Vizuális keresés/visszakeresés építése, ahol a hasonló képek szorosan egymás mellett helyezkednek el a tanult beágyazási térben.
Önfelügyelt előképzés orvosi vagy műholdképek készítéséhez, ahol kevés a címkék, de rengeteg a nyers adat.
Kockázatok és védőkorlátok
Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.
Végrehajtási ütemterv
Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
Benchmark reális terhelési és adatviszonyok mellett.
Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfoNCE and SimCLR Objectives quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Előretekintés és Oroszlán-optimalizálók
Gyakran ismételt kérdések
What is InfoNCE and SimCLR Objectives?
Az InfoNCE az a kontrasztvesztés, amely arra tanítja a modellt, hogy a beágyazott térben összevonja az egyező párokat, és széttolja a nem illeszkedő párokat. A SimCLR egy mérföldkőnek számító keretrendszer, amely ezt a veszteséget használta arra, hogy hatékony képreprezentációkat tanuljon meg címkézetlen adatokból, versenyezve a felügyelt előképzéssel.
Mire ösztönöz egy modellt az InfoNCE célkitűzése?
Az InfoNCE a hasonlóságok feletti softmax, amely a nagy hasonlóságot jutalmazza az igazi pozitívért, és az alacsony hasonlóságot a negatívokért.
SimCLR-ben hogyan jön létre a pozitív pár?
A SimCLR pozitív párt generál ugyanazon forráskép két kibővített nézetéből; más képek negatívként szolgálnak.
Milyen szerepet játszik a τ hőmérséklet az NT-Xent / InfoNCE-ben?
A hasonlóságok elosztása τ-val a softmax előtt szabályozza, hogy a veszteség milyen élesen különbözteti meg a pozitívakat a kemény negatívoktól.
Mi történik a SimCLR vetítőfejével az előképzés után?
A SimCLR úgy találta, hogy a vetítőfej előtti funkciók jobban átadnak, így a fejet az előképzés után eldobják.
Miért támaszkodott a SimCLR a nagy tételméretekre?
A SimCLR-ben a köteg többi képe negatívként működik, így a nagyobb kötegek több negatívot és erősebb tanulást eredményeznek.