DalšíDalší průvodce
Odhad paměti GPU potřebné pro LLM
Technický
Technický PRŮVODCE
Jak AI frameworky alokují, znovu používají a regenerují omezenou paměť na GPU a proč zbývající mezery (fragmentace) mohou způsobit chyby z nedostatku paměti, i když technicky zbývá spousta paměti.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Porozumět tomu je klíčem k přizpůsobení velkých modelů a vyhnutí se záhadným haváriím.
Paměť GPU je pevná a drahocenná: karta může mít celkem 24, 80 nebo 192 GB sdílených hmotností modelu, aktivací, přechody, stavy optimalizátoru a dočasnými vyrovnávací paměti. Volání ovladače, aby alokoval paměť pro každou operaci, by bylo pomalé, takže frameworky jako PyTorch používají alokátor mezipaměti, který zachycuje velké bloky dopředu a rozdává dílčí části, pak uchovává uvolněné části ve fondu pro opětovné použití. Háček je ve fragmentaci: jak jsou alokovány a uvolňovány tenzory různých velikostí, volné místo se rozpadá na rozptýlené kousky. Můžete mít celkem 5 GB volných, a přesto se vám nepodaří přidělit souvislý 2 GB tenzor, protože žádná mezera není dostatečně velká. To je důvod, proč trénink může selhat s chybami z nedostatku paměti navzdory zdánlivě dostupnému prostoru.
A training team examines allocator statistics before testing expandable segments on a variable-batch workload.
A developer uses memory_summary and a memory snapshot to investigate active tensors and inactive split blocks.
An inference team uses vLLM’s paged KV-cache management to reduce cache-allocation waste.
A training team lowers batch size or checkpoints activations after confirming live tensor memory is the limiting factor.
Správa paměti je stále chytřejší a více stránkovaná, inspirovaná operačními systémy. Techniky, jako jsou alokátory ve stylu virtuální paměti a stránkovaná pozornost (používaná ke správě mezipaměti KV během vyvozování), dramaticky snižují plýtvání a fragmentaci. Očekávejte, že rámce budou ve výchozím nastavení rozšiřitelné, defragmentující alokátory, lepší viditelnost prostřednictvím vestavěných profilerů a těsnější propojení s vykládáním a přepočítáváním, aby systém automaticky žongloval s GPU, CPU a diskovou pamětí, aby bylo využití vysoké a došlo k řídkým pádům.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Jak AI frameworky alokují, znovu používají a regenerují omezenou paměť na GPU a proč zbývající mezery (fragmentace) mohou způsobit chyby z nedostatku paměti, i když technicky zbývá spousta paměti. Porozumět tomu je klíčem k přizpůsobení velkých modelů a vyhnutí se záhadným haváriím.
Fragmentace znamená, že celková volná paměť je dostatečná, ale je rozbitá na kousky, takže žádná mezera není dostatečně velká pro velký tenzor.
Volání cudaMalloc/cudaFree pro každou operaci je pomalé, takže alokátor mezipaměti zachycuje velké bloky a znovu používá uvolněné z fondu.
Allocator statistics and snapshots help distinguish fragmentation from live tensors or other allocations. The error alone does not prove a single cause.
Expandable segments can reduce waste for selected allocation patterns. Availability and benefit depend on allocator configuration and workload.
PagedAttention ukládá mezipaměť KV do stránek s pevnou velikostí, jako je virtuální paměť operačního systému, čímž omezuje fragmentaci a efektivně obsluhuje mnoho požadavků.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Odhad paměti GPU potřebné pro LLM
Technický