LegközelebbKövetkező útmutató
Ciklikus tanulási arányok
Műszaki
Műszaki ÚTMUTATÓ
A tanulási ütem ütemezése megváltoztatja a lépések méretét edzés közben, ahelyett, hogy rögzítetten tartaná.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Getting it right is often the single biggest lever for whether a model converges quickly and reaches high accuracy.
A tanulási sebesség szabályozza, hogy az optimalizáló milyen nagy lépést tesz meg az egyes frissítések során. Túl magas és a képzés eltér; túl alacsony, és mászik vagy elakad. Az ütemezés idővel módosítja ezt az értéket. Egy gyakori modern recept a bemelegítés, majd a hanyatlás: kezdje a nulla közelében, és az első néhány száz vagy ezer lépésnél haladjon felfelé (tehát korán, a zajos gradiensek ne robbantsák fel az instabil súlyokat), majd fokozatosan csökkentsék. A népszerű csillapítási formák közé tartozik a lépcsőzetes lecsengés (egy tényezővel való csökkenés meghatározott korszakokban), az exponenciális csillapítás és a koszinuszos lágyítás, amely simán követi a fél-koszinuszos görbét a nulla közelébe. A lineáris bemelegítéssel ellátott koszinusz ütemezések már szabványosak a nagy nyelvi modellek képzéséhez, míg a ciklikus és egyciklusos irányelvek felgyorsíthatják a kisebb modellek képzését.
Lineáris bemelegítés plusz koszinusz-csillapítás a transzformátornyelvi modellek előképzése során.
Lépéscsillapítás, amely 10-szeresére csökkenti a tanulási sebességet a 30., 60. és 90. korszakban, amikor képosztályozókat tanítanak az ImageNeten.
A fast.ai egyciklusos irányelve, amely egy modellt nagyon kevés korszakon belül jó pontosságra tanít.
Koszinusz lágyítás meleg újraindítással, hogy időnként elkerülje az éles veszteségminimumot és javítsa az általánosítást.
Ahogy az edzések drágulnak, az ütemterveket optimalizálókkal és a kötegméretekkel együtt tervezik, a kutatók pedig a skálázási törvényeket tanulmányozzák, hogy megjósolják a legjobb csúcsarányt az edzés előtt. Az ütemezés nélküli optimalizálók, amelyek megszüntetik a csillapítási görbe előzetes kiválasztását, egyre nagyobb teret hódítanak, és az adaptív, visszacsatoláson alapuló ütemezések, amelyek reagálnak az élő veszteséggörbékre, csökkenthetik a próba-hibák számát, amely még mindig uralja a nagyszabású képzést.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A tanulási ütem ütemezése megváltoztatja a lépések méretét edzés közben, ahelyett, hogy rögzítetten tartaná. A helyes megoldás gyakran az egyetlen legnagyobb eszköz annak meghatározására, hogy egy modell gyorsan konvergál-e és nagy pontosságot ér-e el.
A bemelegítés a nulla közelében kezdődik, és növeli a sebességet, hogy az instabil korai frissítések ne destabilizálják a modellt, mielőtt az optimalizáló statisztikái rendeződnek.
A koszinuszos lágyítás fél-koszinusz alakzat mentén csökkenti a tanulási sebességet, nagy lépéseket adva korai és kis lépéseket a végén.
A túl magas ráta túllövést okoz, így a veszteség ugrálhat, vagy felrobbanhat, nem pedig rendeződik.
A lépéscsökkenés megszorozza az arányt egy tényezővel (pl. 0,1) a kiválasztott mérföldköveknél, így lépcsőmintát hoz létre.
Warm restarts begin another learning-rate cycle at a higher value; they do not guarantee escape from a particular loss-landscape feature.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Ciklikus tanulási arányok
Műszaki