DalšíDalší průvodce
Kolik testovacích případů potřebuje rychlé vyhodnocení
Technický
Technický PRŮVODCE
Kritická velikost dávky popisuje přechod v efektivitě trénování: za touto hranicí přinášejí větší dávky menší snížení počtu aktualizací potřebných k dosažení cíle.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Jde o vlastnost trénovací úlohy a výkonnostního cíle, nikoli jednoduše o největší dávku, která se vejde do paměti akcelerátoru. Volba dávky vyžaduje také měření uplynulého času, celkového počtu zpracovaných příkladů a konečného výkonu v úkolu.
A batch is the set of training examples used to form an update. Increasing its size averages over more examples and can reduce gradient noise. With enough parallel hardware, a larger batch may also reduce how many sequential updates are needed to achieve a chosen performance level. But those improvements do not continue proportionally forever. Critical batch size marks a characteristic transition in this tradeoff. In the empirical model of McCandlish and colleagues, batches well below the critical scale are relatively efficient per example. Far above it, adding examples to each update brings diminishing reductions in the number of updates. This is a smooth change in efficiency, not a universal hard limit beyond which training cannot work. The research connects the transition to gradient noise scale and finds that it can shift as training progresses. Define a common target before comparing runs. For an invented example, batch 256 reaches that target in 4,000 updates, processing 1,024,000 examples. Batch 512 takes 2,200 updates but processes 1,126,400 examples. It saves 45% of the updates while using 10% more examples. That could be an attractive elapsed-time tradeoff, but only measured update times reveal the runtime benefit. These two observations alone do not identify a precise critical batch size. Sweep several global batch sizes and tune relevant optimizer settings fairly. Record examples or tokens, updates, elapsed time, and validation performance at the same target. Keep track of whether a learning-rate schedule is expressed in updates or processed data, since changing the batch changes that relationship. Memory capacity, communication, and kernel efficiency impose additional practical limits that the statistical concept alone does not describe.
V hypotetickém experimentu potřebuje dávka 256 celkem 4 000 aktualizací k dosažení cíle, zatímco dávka 512 jich potřebuje 2 200. Druhý průběh využívá méně aktualizací, ale zpracuje 1 126 400 příkladů namísto 1 024 000.
Tým opět zdvojnásobí svou dávku, ale zaznamená téměř nulové snížení počtu aktualizací pro dosažení stejného cíle. Prověřuje, zda další paralelní práce přináší užitečný optimalizační posun.
Výzkumník provádí opakované testování velikosti dávky v pozdější fázi trénování, namísto aby předpokládal, že nejlepší dávka z počátku trénování zůstane optimální i blízko cílové ztráty.
Dvě konfigurace používají stejnou globální dávku, ale odlišný počet zařízení. Tým porovnává uplynulý čas, protože komunikace a provádění jedné aktualizace se mohou lišit.
Adaptivní plány dávek může být snazší vyhodnotit, jakmile trénovací nástroje zpřístupní statistiky gradientů a měření pokroku. Jejich přínos je stále nutné doložit pro konkrétní optimalizátor, model a data, namísto použití převzatého prahu z jiné pracovní zátěže. Týmy mohou ponechat malou sadu experimentů s dávkami vedle studií rychlosti učení, přehodnotit tuto volbu při změně trénovací fáze a hlásit jak využití zdrojů, tak dobu do dosažení cíle. Reprodukovatelné porovnání by mělo zachovat definici cíle a zahrnout i neúspěšné konfigurace, aby zřejmý přínos nestál pouze na vybraném průběhu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Kritická velikost dávky popisuje přechod v efektivitě trénování: za touto hranicí přinášejí větší dávky menší snížení počtu aktualizací potřebných k dosažení cíle. Jde o vlastnost trénovací úlohy a výkonnostního cíle, nikoli jednoduše o největší dávku, která se vejde do paměti akcelerátoru. Volba dávky vyžaduje také měření uplynulého času, celkového počtu zpracovaných příkladů a konečného výkonu v úkolu.
Kritické měřítko popisuje klesající optimalizační přínosy větších dávek, nikoli univerzální neschopnost trénovat.
Kritická velikost dávky se týká efektivity trénování, zatímco kapacita paměti představuje samostatné praktické omezení.
Větší dávka zpracuje 512 × 2 200 = 1 126 400 příkladů navzdory tomu, že vyžaduje méně aktualizací.
Aktualizace mohou zabrat různé množství času v závislosti na velikosti dávek a uspořádání zařízení.
Výzkum používá měřítko šumu gradientu jako empirický prediktor kritického rozsahu dávek.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Kolik testovacích případů potřebuje rychlé vyhodnocení
Technický