LegközelebbKövetkező útmutató
Álcímkézés és önképzés
Műszaki
Műszaki ÚTMUTATÓ
A BYOL (Bootstrap Your Own Latent) címkék és meglepő módon negatív példák nélkül tanul meg hasznos képábrázolásokat.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Megmutatta, hogy az önfelügyelt tanulásnak nem kell arra támaszkodnia, hogy széttolja a különböző képeket, elkerülve a hatalmas mennyiségű negatív szükségességét.
A legtöbb korai önfelügyelt módszer kontrasztos volt: ugyanazon kép két kibővített nézetét húzták össze, miközben a különböző képeket széttolták, amihez sok negatív mintára volt szükség az összeomlás elkerülése érdekében (ahol a hálózat mindenre ugyanazt a vektort adja ki). A BYOL a DeepMindből 2020-ban teljesen eltávolította a negatívumokat. Két hálózatot használ: egy online hálózatot és egy célhálózatot. Egy kép két bővített nézete megy keresztül a két hálózaton; az online hálózat egy előrejelzési fejet ad hozzá, és meg van tanítva arra, hogy megjósolja a másik nézet célhálózati reprezentációját. Kritikus, hogy a célhálózat súlyait nem a gradiens süllyedés edzi. Ehelyett az online súlyok exponenciális mozgóátlaga (EMA). Ez az aszimmetria és az EMA célpont megakadályozza, hogy a kontrasztív módszerek triviális összeomlása féltve, megfeleljen vagy felülmúlja a kontrasztív alapvonalakat az ImageNet-en.
A látás gerincének előképzése több millió címkézetlen fényképen, majd finomhangolás egy kis címkézett orvosi képalkotó adatkészleten, ahol a szakértői megjegyzések alig állnak rendelkezésre.
A robot érzékelési jellemzőinek elsajátítása nyers kamerafolyamokból kézi címkézés nélkül, csökkentve a manipulációs feladatok oktatásának költségeit.
Képlekérési és duplikációs rendszerek építése BYOL beágyazásokkal, amelyek vizuálisan hasonló képeket csoportosítanak osztálycímke nélkül.
Műhold- vagy légifelvételi modellek inicializálása hatalmas, címkézetlen archívumokban, mielőtt finomhangolnák a területhasználat vagy az erdőirtás besorolását.
A nem kontrasztos ötletek ma már az önfelügyelt látásmód nagy részét rögzítik. A SimSiam tovább csökkentette a BYOL-t, megmutatva, hogy az EMA-célpont nem feltétlenül szükséges, ha a stop-gradiens be van tartva, így jobban megértjük, miért kerülhető el az összeomlás. Várható, hogy ezek a címkementes előképzési receptek folyamatosan egyesüljenek a maszkos képmodellezéssel és a multimodális képzéssel, és elterjedjenek a video-, audio-, orvosi képalkotásban és a robotikában, ahol a címkék szűkösek vagy drágák, gyakran a könnyű, felügyelt finomhangolás előtti előképzési szakaszként.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A BYOL (Bootstrap Your Own Latent) mindenféle címke és meglepő módon negatív példák nélkül tanul meg hasznos képábrázolásokat. Megmutatta, hogy az önfelügyelt tanulásnak nem kell arra támaszkodnia, hogy széttolja a különböző képeket, elkerülve a hatalmas mennyiségű negatívum szükségességét.
The BYOL paper highlights learning representations without negative pairs.
BYOL trains the online branch to predict the target representation across two views.
The paper describes updating the target with a slow-moving average.
The BYOL method uses asymmetry and a stop-gradient as parts of its design.
The paper learns by predicting one view’s target representation from another.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Álcímkézés és önképzés
Műszaki