Műszaki ÚTMUTATÓ

Bemelegítési és koszinuszos izzítási ütemezések

A bemelegítés gyengéden felemeli a tanulási sebességet a nulláról közelről edzés előtt, majd a koszinuszos lágyítás simán lecsökkenti azt egy koszinusz görbe mentén.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A bemelegítési és koszinuszos lágyítási ütemtervek jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Együtt stabilizálják a korai betanítást és kinyomják a jobb végső pontosságot, ezért szinte minden modern transzformátort így képeznek.

Mély merülés

Amikor elkezdődik az edzés, a modellsúlyok véletlenszerűek, a gradiensek pedig hatalmasak lehetnek, így a nagy tanulási arányra való egyenes ugrás gyakran veszteségcsúcsokat vagy eltéréseket okoz – különösen az olyan adaptív optimalizálóknál, mint az Adam, amelyeknek a varianciabecslései az első lépésekben megbízhatatlanok. A Warmup ezt úgy javítja ki, hogy lineárisan növeli a sebességet néhány száz és néhány ezer lépés felett. Amint a modell stabil lábakon áll, a koszinuszos lágyítás veszi át az irányítást, és a sebesség 0,5 * (1 + cos (pi * t / T)) értékkel csökken a csúcshoz képest. A koszinuszalak korán magasan tartja az arányt a gyors előrehaladás érdekében, majd fokozatosan enyhül, így az optimalizáló jó minimumra tud állni, ahelyett, hogy ugrálna körülötte.

Valós megvalósítás

A GPT-stílusú és BERT-stílusú nyelvi modellek a lépések első ~1-2%-a során lineáris felmelegedést használnak, amelyet koszinusz-csökkenés követ a nullához közeli értékig.

A Vision transzformátorok (ViT) koszinuszos lágyítással és rövid bemelegítéssel edznek, hogy elkerüljék az ImageNet korai eltérését.

A Hugging Face Transformers a "get_cosine_schedule_with_warmup" egysoros ütemezőt kínálja a finomhangolási feladatokhoz.

A stabil diffúziós és más diffúziós modellek finomhangolják a bemelegítést, hogy megakadályozzák a gradiens robbanásokat, amikor előképzett súlyokat alkalmaznak.

A bemelegítési és koszinuszos lágyítási ütemtervek jövője

A Warmup-plus-cosine továbbra is a nagy nyelvi modellek alapértelmezett receptje, de a változatok terjednek. A Warmup-stable-decay (WSD) állandó sebességet tart, majd a végén élesen lecsökken, így könnyű meghosszabbítani a futásokat anélkül, hogy egy fix hosszt újra le kellene kötni. A kutatók azt is vizsgálják, hogy miért működik a bemelegítés – a gradiens zajhoz és a veszteség-táj görbületéhez kapcsolva –, és az eszközök egyre inkább automatikusan hangolják a bemelegítés hosszát és csúcssebességét, csökkentve ezzel a manapság uralkodó manuális próbálkozást.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Warmup and Cosine Annealing Schedules quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a melegítési és koszinuszos lágyítási ütemezés?

A bemelegítés gyengéden felemeli a tanulási sebességet a nulláról közelről edzés előtt, majd a koszinuszos lágyítás simán lecsökkenti azt egy koszinusz görbe mentén. Együtt stabilizálják a korai betanítást és kinyomják a jobb végső pontosságot, ezért szinte minden modern transzformátort így képeznek.

Mi a fő célja a bemelegítési szakasznak az edzés elején?

Ha nagy tanulási sebességgel kezdi a véletlenszerű súlyozást, veszteségcsúcsokat vagy eltéréseket okozhat, ezért a bemelegítés finoman növeli a sebességet, hogy a korai lépések stabilak maradjanak.

A koszinuszos lágyítás melyik alakzatot követve csökkenti a tanulási sebességet?

Az arány 0,5 * (1 + cos(pi * t / T)) skálán van, ami egy sima dombot eredményez, amely korán magasan marad, és a végén nulla közelébe csúszik.

Melyik optimalizálónak előnyös a bemelegítés, mivel a varianciabecslései már korán megbízhatatlanok?

Adam futó varianciabecslései nagyon kevés mintán alapulnak az első lépésekben, így az effektív lépésméret hibás – a bemelegítés enyhíti ezt.

Mit jelent T a koszinusz képletben?

T az a horizont, amely felett az árfolyam a csúcstól a nulla közelébe csökken; t a jelenlegi lépés ezen a horizonton belül.

In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?

The guide describes a short linear warmup followed by cosine annealing.