LegközelebbKövetkező útmutató
Súly inicializálása
Műszaki
Műszaki ÚTMUTATÓ
A sztochasztikus súlyátlagolás (SWA) a modell súlyainak egyszerű átlagát veszi több pontból az edzés végén, ahelyett, hogy csak a végső pillanatképet tartaná.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez az olcsó trükk gyakran a veszteségterület laposabb, tágabb tartományába juttatja a modellt, amely észrevehetően jobban általánosít a nem látott adatokon.
Az Izmailov, Wilson és munkatársai által 2018-ban bemutatott SWA azt a megfigyelést használja ki, hogy az állandó vagy ciklikus tanulási rátával rendelkező SGD nem konvergál egy ponthoz, hanem egy széles, lapos völgy peremén ugrál. Ahelyett, hogy kiválasztana egyet a zajos megállóhelyek közül, az SWA közepesen magas (gyakran állandó vagy ciklikus) tanulási sebességet futtat az utolsó korszakokban, és átlagolja a meglátogatott súlyokat, jellemzően minden korszakban. Az átlagolt súlyok közelebb vannak a sík régió közepéhez. Mivel a köteg-normalizálási statisztikákat fajlagos súlyokra számítják ki, az SWA-nak egy extra előremenő átmenetre van szüksége az adatokon az átlagolt modell BN futási átlagainak és eltéréseinek újraszámításához. A költségek lényegében ingyenesek, és a pontosságnövekedés egyenletes a képosztályozóknál és azon túl is.
A ResNet és DenseNet képosztályozók vizsgálati pontosságának növelése a CIFAR és ImageNet rendszeren extra következtetési költségek nélkül.
SWAG (SWA-Gaussian), amely kalibrált bizonytalansági becsléseket készít a biztonságra érzékeny előrejelzésekhez egyetlen edzésfutásból.
EMA-of-weights stabilizálja a mintavételi hálózatot olyan diffúziós képgenerátorokban, mint a Stable Diffusion.
„Modellevesek” készítése több finomhangolt ellenőrzőpont átlagolásával a robusztusság javítása érdekében átképzés nélkül.
Az SWA olyan változatokat szült, mint az SWA-Gaussian (SWAG) az olcsó Bayes-féle bizonytalanság érdekében, és az átlagolási elképzelés most a diffúziós modellekben, az önfelügyelt tanulásban és a nagymodell-előképzésben széles körben használt exponenciális mozgóátlag trükköket támasztja alá. Várhatóan a súlyátlagolás továbbra is az alapértelmezett „ingyenes ebéd” marad az edzésreceptekben, a kutatások pedig kiterjesztik a független képzésű modellek (modelllevesek) egyesítésére és a kalibráció javítására a nyers pontosság mellett.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A sztochasztikus súlyátlagolás (SWA) a modell súlyainak egyszerű átlagát veszi több pontból az edzés végén, ahelyett, hogy csak a végső pillanatképet tartaná. Ez az olcsó trükk gyakran a veszteségterület laposabb, tágabb tartományába juttatja a modellt, amely észrevehetően jobban általánosít a nem látott adatokon.
Az SWA a képzés utolsó szakaszában több ellenőrzőponton gyűjtött modellparamétereket (súlyokat) átlagolja, nem pedig előrejelzéseket vagy gradienseket.
Az átlagolás a megoldást a veszteségfelület sík tartományának közepe felé mozgatja, és a lapos minimumok jobban általánosítanak, mivel a vonatozási és a tesztveszteségek összhangban maradnak.
Mivel a BN-statisztikák a fajlagos súlyoktól függenek, az átlagolt modellnek egy plusz adattovábbításra van szüksége a futó átlagok és eltérések újraszámításához.
Az SWA mérsékelten magas állandó vagy ciklikus tanulási arányt tart, így az SGD folytatja a széles sík régió feltárását, amelynek pontjait ezután átlagolják.
Az SWA sok ellenőrzőpontot egy átlagos súlykészletbe csuk össze, így a következtetés ugyanannyiba kerül, mint egy modell, nem pedig N.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Súly inicializálása
Műszaki