LegközelebbKövetkező útmutató
Estimating GPU Memory Needed for LLMs
Műszaki
Műszaki ÚTMUTATÓ
Az AI-keretrendszerek hogyan foglalják le, használják fel és nyerik vissza a korlátozott memóriát a GPU-n, és miért okozhatnak a megmaradt hézagok (töredezettség) a memóriakimaradási hibákat még akkor is, ha technikailag sok memória marad.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Understanding it is key to fitting big models and avoiding mysterious crashes.
A GPU-memória rögzített és értékes: egy kártya összesen 24, 80 vagy 192 GB-ot tartalmazhat, amelyet a modell súlya, aktiválása, színátmenete, optimalizáló állapota és ideiglenes pufferei osztanak meg. Az illesztőprogram meghívása, hogy lefoglalja a memóriát minden műveletnél, lassú lenne, ezért az olyan keretrendszerek, mint a PyTorch, gyorsítótár-lefoglalót használnak, amely megragadja a nagy blokkokat előre, és kiosztja az aldarabokat, majd a felszabadult darabokat egy készletben tartja újrafelhasználás céljából. A fogás a töredezettség: a különböző méretű tenzorok kiosztása és felszabadítása során a szabad tér szétszórt darabokra oszlik. Összesen 5 GB szabad lehet, de nem tud lefoglalni egy összefüggő 2 GB-os tenzort, mert egyetlen hézag sem elég nagy. Ez az oka annak, hogy az edzés a szabadnak látszó mozgástér ellenére is összeomolhat memóriahiányos hibákkal.
A training team examines allocator statistics before testing expandable segments on a variable-batch workload.
A developer uses memory_summary and a memory snapshot to investigate active tensors and inactive split blocks.
An inference team uses vLLM’s paged KV-cache management to reduce cache-allocation waste.
A training team lowers batch size or checkpoints activations after confirming live tensor memory is the limiting factor.
A memóriakezelés egyre intelligensebb és laposabb, az operációs rendszerek ihlette. Az olyan technikák, mint a virtuális memória-stílusú allokátorok és a lapozott figyelem (a KV-gyorsítótár kezelésére szolgálnak a következtetés során), drámaian csökkentik a pazarlást és a töredezettséget. A keretrendszerek alapértelmezés szerint bővíthető, töredezettségmentesítő allokátorokra, jobb láthatóságra a beépített profilozók révén, valamint a tehermentesítéssel és újraszámítással való szorosabb kapcsolódásra számíthatnak, így a rendszer automatikusan zsonglőrködik a GPU-val, a CPU-val és a lemezmemóriával, hogy a kihasználtság magas maradjon, és az összeomlások ritkák.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az AI-keretrendszerek hogyan foglalják le, használják fel és nyerik vissza a korlátozott memóriát a GPU-n, és miért okozhatnak a megmaradt hézagok (töredezettség) a memóriakimaradási hibákat még akkor is, ha technikailag sok memória marad. Ennek megértése kulcsfontosságú a nagy modellek felszereléséhez és a rejtélyes összeomlások elkerüléséhez.
A töredezettség azt jelenti, hogy a teljes szabad memória elegendő, de az darabokra van bontva, így egyetlen rés sem elég nagy egy nagy tenzorhoz.
A cudaMalloc/cudaFree hívása minden művelethez lassú, ezért a gyorsítótárazási allokátor megragadja a nagy blokkokat, és újra felhasználja a felszabadítottakat a készletből.
Allocator statistics and snapshots help distinguish fragmentation from live tensors or other allocations. The error alone does not prove a single cause.
Expandable segments can reduce waste for selected allocation patterns. Availability and benefit depend on allocator configuration and workload.
A PagedAttention a KV gyorsítótárat rögzített méretű oldalakon, például az operációs rendszer virtuális memóriájában tárolja, csökkentve a töredezettséget és hatékonyan kiszolgálva számos kérést.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Estimating GPU Memory Needed for LLMs
Műszaki