LegközelebbKövetkező útmutató
Modell szerializációs formátumok
Műszaki
Műszaki ÚTMUTATÓ
Az FP8 egy 8 bites lebegőpontos számformátum, amely lehetővé teszi a mesterséges intelligencia modellek számára súlyok tárolását és matematikai futtatását a szabványos 32 bites számok memóriájának egynegyedével.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez egy kulcsfontosságú trükk az óriásmodellek olcsóbbá és gyorsabbá tételéhez a betanításhoz és kiszolgáláshoz.
A neurális hálózatok több milliárd számból állnak. Hagyományosan ezek a számok egyenként 32 bitet (FP32) vagy 16 bitet (FP16/BF16) használtak. Az FP8 mindössze 8 bitre zsugorítja őket, így a memória és a sávszélesség nagyjából felére csökken a 16 biteshez képest. Két elterjedt FP8 elrendezés létezik: az E4M3 (4 kitevő bit, 3 mantissza bit) nagyobb pontosságot, de kisebb tartományt, az E5M2 (5 kitevő, 2 mantissza) pedig szélesebb tartományt, de durvább lépéseket ad. A kompromisszum a hűség: a kevesebb bit kerekítési hibákat jelent. A pontosság megőrzése érdekében a keretrendszerek tenzoronként vagy blokkonkénti skálázási tényezőket alkalmaznak, amelyek átskálázzák az értékeket az FP8 használható tartományába. Az NVIDIA Hopper és Blackwell GPU-i hardveres FP8 mátrixmotorokat adtak hozzá, így praktikussá tették mind a képzéshez, mind a következtetésekhez. Az olyan újabb formátumok, mint az MXFP8, MXFP4 és NVFP4, még lejjebb nyomnak a megosztott mikroskálázási blokkokkal.
A team benchmarks an FP8 training recipe on hardware with supported matrix operations and compares it with BF16.
An inference team checks weight, activation, and cache memory before selecting FP8 serving.
A training implementation uses an FP8 encoding with a wider range for tensors whose values require it.
A deployment team evaluates supported four-bit formats against an accuracy and memory budget.
Lower-precision formats should be evaluated as complete recipes rather than universal speed or quality guarantees. Block scaling, mixed-precision layers, and supported kernels can help balance numerical error with memory and compute costs. Four-bit formats such as MXFP4 and NVFP4 are additional choices on supporting systems; their range, scaling, and hardware requirements differ. A team should benchmark its own workload and retain higher precision where measured errors justify it.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az FP8 egy 8 bites lebegőpontos számformátum, amely lehetővé teszi a mesterséges intelligencia modellek számára súlyok tárolását és matematikai futtatását a szabványos 32 bites számok memóriájának egynegyedével. Ez egy kulcsfontosságú trükk az óriásmodellek olcsóbbá tételéhez, valamint gyorsabbá tételéhez és kiképzéséhez.
Az FP8 8 bitet használ, míg az FP32 32 bitet, tehát az FP8 a tárhely és a sávszélesség egynegyedét foglalja el.
Az E4M3 4 kitevőbitet és 3 mantissza bitet jelent; Az E5M2 5 kitevőt és 2 mantissza bitet jelent. Több kitevő bit szélesíti a tartományt; több mantissza bit növeli a pontosságot.
Ilyen kevés kitevőbittel a nagy értékek túlcsordulnak, a kicsik pedig alulcsordulnak nullára. A skálázás átskálázza a tenzorokat az FP8 használható ablakába a matematika előtt.
A kevesebb bit durvább ábrázolást és több kerekítési hibát jelent. Az előny a sokkal kevesebb memória és sávszélesség, valamint a támogatott hardveren gyorsabb matematika.
A Hopper-alapú GPU-k, mint például a H100, bevezették az FP8 Tensor Core támogatását, és a Blackwell ezt később kiterjesztette az FP4-re is.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Modell szerializációs formátumok
Műszaki