LegközelebbKövetkező útmutató
Empirikus kockázatminimalizálás
Alapok
Műszaki ÚTMUTATÓ
A Sharpness-Aware Minimalization (SAM) egy olyan optimalizálási módszer, amely nem csak alacsony veszteséget keres, hanem alacsony veszteséget a súlyok egész környezetében – egy lapos minimumot.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A laposabb minimumok általában jobban általánosíthatók, így a SAM gyakran javítja a teszt pontosságát és robusztusságát anélkül, hogy megváltoztatná a modell architektúráját.
A normál edzés minimálisra csökkenti a súlyvesztést a súlytér egyetlen pontján, de két azonos edzési veszteséggel járó megoldás nagyon eltérően viselkedhet: az „éles” minimum egy keskeny völgyben helyezkedik el, ahol az apró súlyzavarok növelik a veszteséget, míg a „lapos” minimum elviseli a zavarást, és általában jobban általánosít a nem látott adatokra. A SAM, amelyet Google kutatók vezettek be 2020-ban, ezt egyértelművé teszi. Minden lépésnél először megtalálja a közeli súlyzavart (kis sugarú rho-n belül), amely maximalizálja a veszteséget – a legrosszabb szomszédot –, majd frissíti az eredeti súlyokat, hogy csökkentse a veszteséget az adott ponton. Ez a min-max objektív az egyenletesen alacsony tartományok felé tolja az optimalizálást, ami észrevehetően jobb általánosítást eredményez a képbesorolás és azon túl.
Növelje a Vision Transformer és a ResNet pontosságát az ImageNeten a SAM-mel való edzéssel az egyszerű SGD helyett.
A címkezaj robusztusságának javítása, mivel a lapos minimumok kisebb valószínűséggel memorizálják a sérült címkéket.
Az előképzett nyelvi modellek finomhangolása a SAM-mel, hogy jobb általánosítást érjen el a kis downstream adatkészleteken.
ESAM vagy LookSAM változatok használata, amikor a vanília SAM megduplázott számítási költsége túl drága.
A SAM nyomon követések családját hozta létre, amelyek célja a legnagyobb gyengeség, a megduplázott számítás: olyan hatékony változatok, mint az ESAM, LookSAM, és olyan módszerek, amelyek csak a súlyozások egy részét zavarják meg, vagy néhány lépésenként alkalmazzák a SAM-et. Az adaptív SAM (ASAM) átparaméterezi a sugarat skálainvariánsra. A kutatók továbbra is arról vitatkoznak, hogy pontosan miért segít a laposság, és hogyan mérhető, és az élesség-tudatos ötletek terjednek a nagy nyelvi modellek finomhangolására és az eloszlásváltás robusztusságának javítására.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Sharpness-Aware Minimalization (SAM) egy olyan optimalizálási módszer, amely nem csak alacsony veszteséget keres, hanem alacsony veszteséget a súlyok egész környezetében – egy lapos minimumot. A laposabb minimumok általában jobban általánosíthatók, így a SAM gyakran javítja a teszt pontosságát és robusztusságát anélkül, hogy megváltoztatná a modell architektúráját.
A SAM a lapos minimumokat célozza meg, mivel a kis súlyú perturbációk mellett alacsony veszteség általában jobban általánosítható a nem látott adatokra.
A SAM kiszámol egy gradienst, hogy megtalálja a legrosszabb közeli pontot, majd ott egy másik gradienst frissít – ez körülbelül a szokásos költség duplája.
Rho beállítja, hogy milyen messzire mozduljon el az „emelkedés” lépés, hogy megtalálja a legrosszabb szomszédot, meghatározva, hogy mekkora sík régiót keres a SAM.
A SAM először megzavarja az rho sugarú súlyokat abban az irányban, amely maximalizálja a veszteséget, majd az ott kiszámított gradiens segítségével leereszkedik az eredeti pontról.
A zajos címkék memorizálása általában éles, keskeny minimumokat igényel; a sík területek előnyben részesítésével a SAM ellenáll ennek a túlillesztésnek.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Empirikus kockázatminimalizálás
Alapok