FP8 og lavpresisjonsformater
FP8 er et 8-bits flyttallformat som lar AI-modeller lagre vekter og kjøre matematikk ved å bruke en fjerdedel av minnet til standard 32-bits tall.
Oversikt
It is a key trick for making giant models cheaper and faster to train and serve.
Dypdykk
Nevrale nettverk er laget av milliarder av tall. Tradisjonelt brukte disse tallene 32 bits (FP32) eller 16 bits (FP16/BF16) hver. FP8 krymper dem til bare 8 biter, og kutter minne og båndbredde omtrent til det halve versus 16-bit. Det er to vanlige FP8-oppsett: E4M3 (4 eksponentbiter, 3 mantissebiter) gir mer presisjon, men et mindre område, og E5M2 (5 eksponenter, 2 mantisser) gir et bredere område, men grovere trinn. Avveiningen er troskap: færre biter betyr avrundingsfeil. For å forbli nøyaktige bruker rammeverk per-tensor eller per-blokk skaleringsfaktorer som omskalerer verdier til FP8s brukbare område. NVIDIAs Hopper og Blackwell GPUer la til maskinvare FP8-matrisemotorer, noe som gjorde det praktisk både for trening og slutninger. Nyere formater som MXFP8, MXFP4 og NVFP4 presser enda lavere med delte mikroskaleringsblokker.
Teknisk innsikt
FP8s utfordring er dynamisk rekkevidde. Med bare en håndfull eksponentbits flyter store eller små aktiveringer over eller underflyter til null. Løsningen er skalering: multipliser en tensor med en faktor slik at verdiene lander i FP8s representable vindu, multipliser-akkumuler FP8, del deretter ut igjen, ofte akkumuler delsummer med høyere presisjon (FP16/FP32). E4M3 brukes vanligvis til vekter og aktiveringer, E5M2 for gradienter der rekkevidde betyr mer enn presisjon.
Strategisk innvirkning
Cost and budget
Arkitekturbeslutninger driver ytelse og driftskostnader i årevis.
Tydeligere avgjørelser
Teknisk utdanning hjelper team med å velge riktig stabel, ikke bare den nyeste.
Quality control
Bedre ingeniørvalg reduserer pålitelighetshendelser i produksjonen.
Fremtiden for FP8 og lavpresisjonsformater
Presisjonen raser nedover. Etter FP8 kom 4-bits mikroskaleringsformater (MXFP4, NVFP4) som pakker en liten delt skala per liten blokk, og Blackwell-maskinvare akselererer nå FP4 direkte. Forvent oppskrifter med blandet presisjon der forskjellige lag bruker forskjellige bitbredder, pluss bedre kvantiseringsbevisst trening slik at 4-bit blir standard for slutning. Sluttspillet er å presse grenseskalamodeller til færre, billigere sjetonger uten målbart kvalitetstap.
Real-World Implementering
Trening av store språkmodeller på NVIDIA Hopper/Blackwell GPUer ved å bruke FP8 for å omtrent doble gjennomstrømningen sammenlignet med BF16
Serverer chatbot-inferens i FP8 slik at en modell passer på færre GPUer og svarer på flere forespørsler per sekund
Bruk av E5M2 for gradientkommunikasjon under distribuert trening for å kutte nettverksbåndbredde mellom noder
Distribuerer MXFP4/NVFP4-kvantiserte modeller for å passe en grenseskalamodell på en enkelt GPU med høyt minne for billigere slutninger
Risikoer og rekkverk
Optimalisering av ett benchmark kan skjule bredere systemsvakheter.
Infrastruktur- og vedlikeholdskostnader er ofte undervurdert.
Sikkerhets- og observerbarhetsgap kan vokse etter hvert som systemene blir mer komplekse.
Veikart for implementering
Definer ventetid, kvalitet og kostnadsmål før implementering.
Benchmark under realistiske belastnings- og dataforhold.
Instrumentovervåking for feil, drift og brukerpåvirkning.
Forbered tilbakerulling og hendelsesresponsbaner før skalering.
Fortsett å utforske
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the FP8 and Low-Precision Formats quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Neste guide
Modeller serialiseringsformater
Ofte stilte spørsmål
What is FP8 and Low-Precision Formats?
FP8 er et 8-bits flyttallformat som lar AI-modeller lagre vekter og kjøre matematikk ved å bruke en fjerdedel av minnet til standard 32-bits tall. Det er et nøkkeltriks for å gjøre gigantiske modeller billigere og raskere å trene og betjene.
Hvor mange bits bruker et FP8-nummer sammenlignet med et standard FP32-nummer?
FP8 bruker 8 bits mens FP32 bruker 32 bits, så FP8 tar en fjerdedel av lagringen og båndbredden.
Hva beskriver "E4M3"- og "E5M2"-etikettene om et FP8-format?
E4M3 betyr 4 eksponentbiter og 3 mantissebiter; E5M2 betyr 5 eksponent- og 2 mantissebiter. Flere eksponentbiter utvider området; flere mantissebiter gir presisjon.
Hvorfor bruker FP8-rørledninger skaleringsfaktorer på tensorer?
Med så få eksponentbiter flyter store verdier over og små underflyter til null. Skalering omskalerer tensorer inn i FP8s brukbare vindu før regnestykket.
Hvilken avveining er den største ulempen ved å bruke FP8?
Færre biter betyr grovere representasjon og mer avrundingsfeil. Fordelen er langt mindre minne og båndbredde, og raskere matematikk på støttet maskinvare.
Hvilken NVIDIA GPU-generasjon la først til dedikert maskinvarestøtte for FP8 matrisematikk?
Hopper-baserte GPUer som H100 introduserte FP8 Tensor Core-støtte, og Blackwell utvidet senere dette til FP4.