Il prossimoProssima guida
Formati di serializzazione dei modelli
Tecnico
GUIDA TECNICA
FP8 è un formato numerico a virgola mobile a 8 bit che consente ai modelli di intelligenza artificiale di memorizzare pesi ed eseguire calcoli utilizzando un quarto della memoria dei numeri standard a 32 bit.
Ascolta questa guidaNarrato dall'IA · ~2 min
Si tratta di un trucco fondamentale per rendere i modelli giganti più economici e veloci da addestrare e servire.
Le reti neurali sono composte da miliardi di numeri. Tradizionalmente questi numeri utilizzavano 32 bit (FP32) o 16 bit (FP16/BF16) ciascuno. L'FP8 li riduce a soli 8 bit, tagliando la memoria e la larghezza di banda all'incirca della metà rispetto a 16 bit. Esistono due layout comuni FP8: E4M3 (4 bit di esponente, 3 bit di mantissa) offre maggiore precisione ma un intervallo più piccolo, ed E5M2 (5 esponente, 2 bit di mantissa) offre un intervallo più ampio ma passi più grossolani. Il compromesso è la fedeltà: meno bit significano errori di arrotondamento. Per rimanere accurati, i framework applicano fattori di ridimensionamento per tensore o per blocco che ridimensionano i valori nell'intervallo utilizzabile dell'8° PQ. Le GPU Hopper e Blackwell di NVIDIA hanno aggiunto motori a matrice hardware FP8, rendendolo pratico sia per l'addestramento che per l'inferenza. I formati più recenti come MXFP8, MXFP4 e NVFP4 si spingono ancora più in basso con blocchi di micro-scaling condivisi.
A team benchmarks an FP8 training recipe on hardware with supported matrix operations and compares it with BF16.
An inference team checks weight, activation, and cache memory before selecting FP8 serving.
A training implementation uses an FP8 encoding with a wider range for tensors whose values require it.
A deployment team evaluates supported four-bit formats against an accuracy and memory budget.
Lower-precision formats should be evaluated as complete recipes rather than universal speed or quality guarantees. Block scaling, mixed-precision layers, and supported kernels can help balance numerical error with memory and compute costs. Four-bit formats such as MXFP4 and NVFP4 are additional choices on supporting systems; their range, scaling, and hardware requirements differ. A team should benchmark its own workload and retain higher precision where measured errors justify it.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
FP8 è un formato numerico a virgola mobile a 8 bit che consente ai modelli di intelligenza artificiale di memorizzare pesi ed eseguire calcoli utilizzando un quarto della memoria dei numeri standard a 32 bit. Si tratta di un trucco fondamentale per rendere i modelli giganti più economici e veloci da addestrare e servire.
FP8 utilizza 8 bit mentre FP32 utilizza 32 bit, quindi FP8 occupa un quarto dello spazio di archiviazione e della larghezza di banda.
E4M3 significa 4 bit dell'esponente e 3 bit della mantissa; E5M2 significa 5 esponenti e 2 bit di mantissa. Bit più esponenti ampliano l'intervallo; più bit di mantissa aggiungono precisione.
Con così pochi bit esponenti, i valori grandi vanno in overflow e quelli piccoli vanno in overflow fino a zero. Il ridimensionamento ridimensiona i tensori nella finestra utilizzabile dell'FP8 prima dei calcoli.
Meno bit significano una rappresentazione più grossolana e un maggiore errore di arrotondamento. Il vantaggio è una memoria e una larghezza di banda molto inferiori e calcoli più rapidi sull'hardware supportato.
Le GPU basate su Hopper come l'H100 hanno introdotto il supporto Tensor Core FP8 e Blackwell in seguito lo ha esteso a FP4.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Formati di serializzazione dei modelli
Tecnico