LegközelebbKövetkező útmutató
Hogyan győzzük le a Jet Lagot mesterséges intelligencia-ütemezéssel
Alkalmazások
Műszaki ÚTMUTATÓ
A bemelegítés gyengéden felemeli a tanulási sebességet a nulláról közelről edzés előtt, majd a koszinuszos lágyítás simán lecsökkenti azt egy koszinusz görbe mentén.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Együtt stabilizálják a korai betanítást és kinyomják a jobb végső pontosságot, ezért szinte minden modern transzformátort így képeznek.
Amikor elkezdődik az edzés, a modellsúlyok véletlenszerűek, a gradiensek pedig hatalmasak lehetnek, így a nagy tanulási arányra való egyenes ugrás gyakran veszteségcsúcsokat vagy eltéréseket okoz – különösen az olyan adaptív optimalizálóknál, mint az Adam, amelyeknek a varianciabecslései az első lépésekben megbízhatatlanok. A Warmup ezt úgy javítja ki, hogy lineárisan növeli a sebességet néhány száz és néhány ezer lépés felett. Amint a modell stabil lábakon áll, a koszinuszos lágyítás veszi át az irányítást, és a sebesség 0,5 * (1 + cos (pi * t / T)) értékkel csökken a csúcshoz képest. A koszinuszalak korán magasan tartja az arányt a gyors előrehaladás érdekében, majd fokozatosan enyhül, így az optimalizáló jó minimumra tud állni, ahelyett, hogy ugrálna körülötte.
A GPT-stílusú és BERT-stílusú nyelvi modellek a lépések első ~1-2%-a során lineáris felmelegedést használnak, amelyet koszinusz-csökkenés követ a nullához közeli értékig.
A Vision transzformátorok (ViT) koszinuszos lágyítással és rövid bemelegítéssel edznek, hogy elkerüljék az ImageNet korai eltérését.
A Hugging Face Transformers a "get_cosine_schedule_with_warmup" egysoros ütemezőt kínálja a finomhangolási feladatokhoz.
A stabil diffúziós és más diffúziós modellek finomhangolják a bemelegítést, hogy megakadályozzák a gradiens robbanásokat, amikor előképzett súlyokat alkalmaznak.
A Warmup-plus-cosine továbbra is a nagy nyelvi modellek alapértelmezett receptje, de a változatok terjednek. A Warmup-stable-decay (WSD) állandó sebességet tart, majd a végén élesen lecsökken, így könnyű meghosszabbítani a futásokat anélkül, hogy egy fix hosszt újra le kellene kötni. A kutatók azt is vizsgálják, hogy miért működik a bemelegítés – a gradiens zajhoz és a veszteség-táj görbületéhez kapcsolva –, és az eszközök egyre inkább automatikusan hangolják a bemelegítés hosszát és csúcssebességét, csökkentve ezzel a manapság uralkodó manuális próbálkozást.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A bemelegítés gyengéden felemeli a tanulási sebességet a nulláról közelről edzés előtt, majd a koszinuszos lágyítás simán lecsökkenti azt egy koszinusz görbe mentén. Együtt stabilizálják a korai betanítást és kinyomják a jobb végső pontosságot, ezért szinte minden modern transzformátort így képeznek.
Ha nagy tanulási sebességgel kezdi a véletlenszerű súlyozást, veszteségcsúcsokat vagy eltéréseket okozhat, ezért a bemelegítés finoman növeli a sebességet, hogy a korai lépések stabilak maradjanak.
Az arány 0,5 * (1 + cos(pi * t / T)) skálán van, ami egy sima dombot eredményez, amely korán magasan marad, és a végén nulla közelébe csúszik.
Adam futó varianciabecslései nagyon kevés mintán alapulnak az első lépésekben, így az effektív lépésméret hibás – a bemelegítés enyhíti ezt.
T az a horizont, amely felett az árfolyam a csúcstól a nulla közelébe csökken; t a jelenlegi lépés ezen a horizonton belül.
The guide describes a short linear warmup followed by cosine annealing.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Hogyan győzzük le a Jet Lagot mesterséges intelligencia-ütemezéssel
Alkalmazások