DalšíDalší průvodce
Formáty serializace modelu
Technický
Technický PRŮVODCE
FP8 je 8bitový formát čísel s plovoucí desetinnou čárkou, který umožňuje modelům AI ukládat váhy a spouštět matematiku s využitím čtvrtiny paměti standardních 32bitových čísel.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Je to klíčový trik, jak zlevnit obří modely a zrychlit jejich výcvik a obsluhu.
Neuronové sítě se skládají z miliard čísel. Tradičně tato čísla používala každé 32 bitů (FP32) nebo 16 bitů (FP16/BF16). FP8 je zmenší na pouhých 8 bitů, čímž sníží paměť a šířku pásma zhruba na polovinu oproti 16bitům. Existují dvě běžná rozložení FP8: E4M3 (4 exponentní bity, 3 mantisové bity) poskytuje větší přesnost, ale menší rozsah a E5M2 (5 exponentů, 2 mantisy) poskytuje širší rozsah, ale hrubší kroky. Kompromisem je věrnost: méně bitů znamená zaokrouhlovací chyby. Aby zůstaly přesné, rámce aplikují škálovací faktory na tenzor nebo blok, které přeškálují hodnoty do použitelného rozsahu FP8. GPU NVIDIA Hopper a Blackwell přidaly hardwarové maticové motory FP8, díky čemuž jsou praktické jak pro trénink, tak pro vyvozování. Novější formáty jako MXFP8, MXFP4 a NVFP4 se díky sdíleným blokům pro mikroškálování posouvají ještě níže.
A team benchmarks an FP8 training recipe on hardware with supported matrix operations and compares it with BF16.
An inference team checks weight, activation, and cache memory before selecting FP8 serving.
A training implementation uses an FP8 encoding with a wider range for tensors whose values require it.
A deployment team evaluates supported four-bit formats against an accuracy and memory budget.
Lower-precision formats should be evaluated as complete recipes rather than universal speed or quality guarantees. Block scaling, mixed-precision layers, and supported kernels can help balance numerical error with memory and compute costs. Four-bit formats such as MXFP4 and NVFP4 are additional choices on supporting systems; their range, scaling, and hardware requirements differ. A team should benchmark its own workload and retain higher precision where measured errors justify it.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
FP8 je 8bitový formát čísel s plovoucí desetinnou čárkou, který umožňuje modelům AI ukládat váhy a spouštět matematiku s využitím čtvrtiny paměti standardních 32bitových čísel. Je to klíčový trik, jak zlevnit obří modely a zrychlit jejich výcvik a obsluhu.
FP8 používá 8 bitů, zatímco FP32 používá 32 bitů, takže FP8 zabírá jednu čtvrtinu úložiště a šířky pásma.
E4M3 znamená 4 exponentní bity a 3 mantisové bity; E5M2 znamená 5 exponentů a 2 bity mantisy. Více exponentních bitů rozšiřuje rozsah; více bitů mantisa zvyšuje přesnost.
S tak malým počtem exponentních bitů velké hodnoty přetečou a malé podtečou na nulu. Škálování změní měřítko tenzorů do použitelného okna FP8 před matematikou.
Méně bitů znamená hrubší zobrazení a více zaokrouhlovacích chyb. Výhodou je mnohem menší paměť a šířka pásma a rychlejší výpočet na podporovaném hardwaru.
GPU založené na Hopperech, jako je H100, zavedly podporu FP8 Tensor Core a Blackwell to později rozšířil na FP4.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Formáty serializace modelu
Technický