DalšíDalší průvodce
Mizející a explodující přechody
Technický
Technický PRŮVODCE
Akumulace přechodů vám umožňuje simulovat velkou velikost dávky na omezené paměti GPU sečtením přechodů v několika malých minidávkách před aktualizací vah.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Je to standardní řešení pro trénování velkých modelů, když je paměť úzkým hrdlem.
Normálně tréninkový krok zpracuje jednu dávku, vypočítá gradienty a okamžitě aktualizuje parametry. S akumulací gradientu spustíte několik průchodů vpřed a vzad na menších mikrodávkách, jejich gradienty sečtete v pamětech parametrů a po N mikrodávkách zavoláte pouze krok optimalizátoru (a vynulujete přechody). Efektivní velikost dávky se stane velikostí mikrodávky krát N, i když špičková paměť vždy pojme pouze jednu mikrodávku aktivací. To je důležité, protože mnoho školicích receptů předpokládá velké dávky pro stabilní statistiku a protože modely jako velké transformátory nemohou na jediné zařízení umístit plnou cílovou dávku. Háček: statistiky dávkové normalizace se počítají po mikrodávkách, takže norma vrstvy nebo norma skupiny se lépe spárují s akumulací a musíte správně škálovat ztrátu, abyste udrželi správnou efektivní rychlost učení.
Jemné vyladění velkého jazykového modelu na jediném spotřebitelském GPU nashromážděním více než 8 nebo 16 mikrodávek, abyste dosáhli efektivní dávky stovek.
Trénink modelů vidění nebo segmentace s vysokým rozlišením, kde se vejde i dávka 2 kusů, ale recept potřebuje účinnou dávku 32 kusů.
Hugging Face Trainer a PyTorch Lightning odhalují nastavení gradient_accumulation_steps, které se běžně používá v nastaveních s omezenou VRAM.
Reprodukce výsledků velkých šarží papíru na menším hardwaru přizpůsobením efektivní velikosti šarže prostřednictvím akumulace.
Akumulace přechodů zůstane výchozí pákou, protože velikosti modelů předčí paměť jednoho zařízení. Stále více se kombinuje se smíšenou přesností, aktivačním kontrolním bodem, shardingem ZeRO a paralelismem potrubí v rámci jako DeepSpeed a FSDP. Očekávejte přísnější automatizaci, kde knihovny automaticky ladí akumulační kroky k rozpočtu paměti, a pokračující důležitost pro dolaďování velkých modelů na skromném hardwaru, včetně spotřebitelských GPU, kde odemyká školení, které by jinak nebylo možné.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Akumulace přechodů vám umožňuje simulovat velkou velikost dávky na omezené paměti GPU sečtením přechodů v několika malých minidávkách před aktualizací vah. Je to standardní řešení pro trénování velkých modelů, když je paměť úzkým hrdlem.
Sečtením přechodů v několika mikrodávkách před aktualizací napodobíte velkou dávku, aniž byste ji museli celou uchovávat v paměti najednou.
Accumulate gradients across N micro-batches, call optimizer.step() once for the effective batch, then clear gradients before the next window; begin training with cleared buffers.
Dávková norma počítá statistiky pro mikrodávky, takže norma vrstvy nebo skupiny zamezuje nesouladu s malými mikrodávkami.
Batch-dependent forward computations break exact equivalence.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Mizející a explodující přechody
Technický