LegközelebbKövetkező útmutató
Előretekintés és Oroszlán-optimalizálók
Műszaki
Műszaki ÚTMUTATÓ
Az InfoNCE az a kontrasztvesztés, amely arra tanítja a modellt, hogy a beágyazott térben összevonja az egyező párokat, és széttolja a nem illeszkedő párokat.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A SimCLR egy mérföldkőnek számító keretrendszer, amely ezt a veszteséget használta arra, hogy hatékony képreprezentációkat tanuljon meg címkézetlen adatokból, versenyezve a felügyelt előképzéssel.
Az InfoNCE (Kölcsönös információk zajkontrasztív becslése) úgy képezi ki a kódolót, hogy a lekérdezésnek és valódi pozitívjának magasabb hasonlósági pontszáma legyen, mint a lekérdezésnek, és sok negatívuma legyen. Ez lényegében egy softmax keresztentrópia a hasonlósági pontszámok felett: egy horgony esetében a pozitívnak kell győznie a negatívokkal szemben. A SimCLR (2020) ezt a képekre operacionalizálta: készítsen egy képet, alkalmazzon két véletlenszerű kiegészítést pozitív pár létrehozásához, mindkettőt egy megosztott kódolón és egy vetítőfejen futtassa, és használja a normalizált hőmérséklet-skálás keresztentrópiát (NT-Xent, egy InfoNCE-változat), így a két kibővített nézet vonzza, míg a köteg összes többi képe negatívként működik. A SimCLR kimutatta, hogy az erős adatkiegészítés, a nemlineáris vetítőfej, a nagy tételméretek és a beállított hőmérséklet együttesen lehetővé teszi, hogy az önfelügyelt modellek illeszkedjenek az ImageNet felügyelt modelljeihez – az előképzés során címkék nélkül.
A SimCLR előtanítja a képkódolót címkézetlen fényképeken, majd finomhangol egy kis címkés készleten az osztályozáshoz.
CLIP egy InfoNCE objektív használatával, hogy a képeket a feliratukkal illessze, lehetővé téve a zéró felvételes képosztályozást.
Vizuális keresés/visszakeresés építése, ahol a hasonló képek szorosan egymás mellett helyezkednek el a tanult beágyazási térben.
Önfelügyelt előképzés orvosi vagy műholdképek készítéséhez, ahol kevés a címkék, de rengeteg a nyers adat.
A kontrasztos célkitűzések messze túlmutatnak a SimCLR-en: a CLIP az InfoNCE segítségével igazítja a képeket a szöveghez, és ugyanaz a veszteség irányítja az audio-, videó- és visszakeresési modelleket. A kutatás most csökkenti a nagy tételektől és sok negatívtól való függőséget a memóriabankon (MoCo) keresztül, vagy teljesen eltávolítja az explicit negatívokat (BYOL, SimSiam, DINO). A kontrasztív, desztillációs és maszkos-modellezés előképzésének folyamatos keverésére számíthat, a multimodális igazítással (szöveg, kép, hang) az alapmodellek domináns határvonalaként.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az InfoNCE az a kontrasztvesztés, amely arra tanítja a modellt, hogy a beágyazott térben összevonja az egyező párokat, és széttolja a nem illeszkedő párokat. A SimCLR egy mérföldkőnek számító keretrendszer, amely ezt a veszteséget használta arra, hogy hatékony képreprezentációkat tanuljon meg címkézetlen adatokból, versenyezve a felügyelt előképzéssel.
Az InfoNCE a hasonlóságok feletti softmax, amely a nagy hasonlóságot jutalmazza az igazi pozitívért, és az alacsony hasonlóságot a negatívokért.
A SimCLR pozitív párt generál ugyanazon forráskép két kibővített nézetéből; más képek negatívként szolgálnak.
A hasonlóságok elosztása τ-val a softmax előtt szabályozza, hogy a veszteség milyen élesen különbözteti meg a pozitívakat a kemény negatívoktól.
A SimCLR úgy találta, hogy a vetítőfej előtti funkciók jobban átadnak, így a fejet az előképzés után eldobják.
A SimCLR-ben a köteg többi képe negatívként működik, így a nagyobb kötegek több negatívot és erősebb tanulást eredményeznek.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Előretekintés és Oroszlán-optimalizálók
Műszaki