DalšíDalší průvodce
Jak porazit Jet Lag s plánem AI
Aplikace
Technický PRŮVODCE
Warmup před tréninkem jemně zvýší rychlost učení z téměř nuly, pak kosinové žíhání plynule sníží rychlost zpět dolů po kosinusové křivce.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Together they stabilize early training and squeeze out better final accuracy, which is why nearly every modern transformer is trained this way.
Na začátku tréninku jsou modelové hmotnosti náhodné a gradienty mohou být obrovské, takže skok přímo na vysokou rychlost učení často způsobuje špičky ztrát nebo divergenci – zvláště u adaptivních optimalizátorů, jako je Adam, jejichž odhady rozptylu jsou v prvních krocích nespolehlivé. Warmup to řeší lineárním zvyšováním rychlosti o několik set až několik tisíc kroků. Jakmile je model na stabilním základě, převezme řízení kosinové žíhání, které sníží rychlost jako 0,5 * (1 + cos(pi * t / T)) svého vrcholu. Kosinusový tvar udržuje rychlost brzy vysokou pro rychlý pokrok, pak se postupně zmírňuje, takže se optimalizátor může usadit na dobré minimum, místo aby kolem něj poskakoval.
Jazykové modely ve stylu GPT a BERT používají lineární zahřívání během prvních ~ 1–2 % kroků, po nichž následuje pokles kosinusu téměř na nulu.
Vision transformátory (ViT) trénují s kosinovým žíháním a krátkým zahříváním, aby se zabránilo předčasné divergenci na ImageNet.
Hugging Face Transformers nabízí `get_cosine_schedule_with_warmup` jako jednořádkový plánovač pro dolaďování úloh.
Stabilní difúze a další difúzní modely se doladí zahříváním, aby se předešlo gradientním explozím při přizpůsobování předem trénovaných závaží.
Warmup-plus-cosine zůstává výchozím receptem pro velké jazykové modely, ale varianty se šíří. Warmup-stable-decay (WSD) udržuje konstantní rychlost a poté se na konci prudce snižuje, takže je snadné prodloužit běhy bez opětovného zavázání na pevnou délku. Výzkumníci také studují, proč zahřívání funguje – spojují jej s gradientním šumem a ztrátovým zakřivením – a nástroje stále více automaticky ladí délku zahřívání a špičkovou rychlost, čímž snižují ruční pokusy a omyly, které dnes dominují.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Warmup před tréninkem jemně zvýší rychlost učení z téměř nuly, pak kosinové žíhání plynule sníží rychlost zpět dolů po kosinusové křivce. Společně stabilizují raný trénink a vytlačují lepší konečnou přesnost, proto je téměř každý moderní transformátor takto trénován.
Začátek s velkou rychlostí učení na náhodných vahách může způsobit špičky ztrát nebo divergenci, takže zahřívání mírně zvyšuje rychlost, aby byly počáteční kroky stabilní.
Rychlost je zmenšena o 0,5 * (1 + cos(pi * t / T)), čímž vznikne hladký kopec, který zůstane brzy vysoký a na konci klouže téměř k nule.
Adamovy odhady průběžného rozptylu jsou založeny na velmi malém počtu vzorků v prvních krocích, takže efektivní velikost kroku je nestálá – zahřívání to zmírňuje.
T je horizont, ve kterém rychlost klesá od svého vrcholu k blízkosti nuly; t je aktuální krok v tomto horizontu.
The guide describes a short linear warmup followed by cosine annealing.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Jak porazit Jet Lag s plánem AI
Aplikace