FP8 na Miundo ya Usahihi wa Chini
FP8 ni umbizo la nambari 8-bit zinazoelea ambalo huruhusu miundo ya AI kuhifadhi uzani na kuendesha hesabu kwa kutumia robo ya kumbukumbu ya nambari za kawaida za 32-bit.
Muhtasari
It is a key trick for making giant models cheaper and faster to train and serve.
Dive ya kina
Mitandao ya neva imeundwa na mabilioni ya nambari. Kijadi nambari hizo zilitumia biti 32 (FP32) au biti 16 (FP16/BF16) kila moja. FP8 inazipunguza hadi biti 8 tu, hivyo kukata kumbukumbu na kipimo data kwa takriban nusu dhidi ya 16-bit. Kuna miundo miwili ya kawaida ya FP8: E4M3 (kipeo 4, biti 3 za mantissa) inatoa usahihi zaidi lakini safu ndogo zaidi, na E5M2 (kipeo 5, 2 mantissa) inatoa masafa mapana zaidi lakini hatua nyembamba zaidi. Biashara ni uaminifu: bits chache humaanisha makosa ya kuzungusha. Ili kukaa kwa usahihi, mifumo hutumika kwa kila kipenyo au kwa kila kizuizi vipengele vya kuongeza viwango ambavyo vinapunguza thamani hadi katika safu inayoweza kutumika ya FP8. NVIDIA's Hopper na Blackwell GPUs ziliongeza injini za maunzi za FP8, na kuifanya itumike kwa mafunzo na makisio. Miundo mpya zaidi kama MXFP8, MXFP4, na NVFP4 inasukuma chini zaidi kwa kutumia vizuizi vidogo vya pamoja.
Ufahamu wa Kiufundi
Changamoto ya FP8 ni masafa yanayobadilika. Kwa vipengee vichache pekee, uwezeshaji mkubwa au mdogo hufurika au hutiririka hadi sifuri. Marekebisho ni kuongeza: zidisha tensor kwa kipengele ili thamani zake zitue kwenye dirisha linalowakilishwa la FP8, fanya FP8 ijilimbikize, kisha ugawanye nyuma, mara nyingi ukusanye kiasi cha pesa kwa usahihi wa juu (FP16/FP32). E4M3 kwa kawaida hutumiwa kwa uzani na kuwezesha, E5M2 kwa gradient ambapo safu ni muhimu zaidi kuliko usahihi.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa FP8 na Miundo ya Usahihi wa Chini
Usahihi unakimbia kuelekea chini. Baada ya FP8 kulikuja fomati za kuongeza ukubwa wa 4-bit (MXFP4, NVFP4) ambazo hupakia kiwango kidogo cha pamoja kwa kila kizuizi kidogo, na maunzi ya Blackwell sasa huharakisha FP4 moja kwa moja. Tarajia mapishi ya usahihi mseto ambapo tabaka tofauti hutumia upana-biti tofauti, pamoja na mafunzo bora ya ufahamu wa quantization ili 4-bit iwe chaguomsingi ya makisio. Mwisho wa mchezo ni kubana miundo ya mizani ya mipaka kwenye chip chache na za bei nafuu bila upotevu wa ubora unaopimika.
Utekelezaji wa Ulimwengu Halisi
Kufunza miundo mikubwa ya lugha kwenye NVIDIA Hopper/Blackwell GPU kwa kutumia FP8 takriban mara mbili ya upitishaji dhidi ya BF16.
Kutumikia makisio ya chatbot katika FP8 ili mfano utoshee kwenye GPU chache na kujibu maombi zaidi kwa sekunde
Kutumia E5M2 kwa mawasiliano ya upinde rangi wakati wa mafunzo yaliyosambazwa ili kukata kipimo data cha mtandao kati ya nodi
Inapeleka miundo iliyopimwa kwa kiwango cha MXFP4/NVFP4 ili kutoshea modeli ya mizani ya mpaka kwenye GPU moja ya kumbukumbu ya juu kwa makisio ya bei nafuu.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the FP8 and Low-Precision Formats quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Miundo ya Uainishaji wa Mfano
Maswali yanayoulizwa mara kwa mara
What is FP8 and Low-Precision Formats?
FP8 ni umbizo la nambari 8-bit zinazoelea ambalo huruhusu miundo ya AI kuhifadhi uzani na kuendesha hesabu kwa kutumia robo ya kumbukumbu ya nambari za kawaida za 32-bit. Ni mbinu kuu ya kufanya wanamitindo wakubwa kuwa wa bei nafuu na wa haraka zaidi kuwafunza na kuwahudumia.
Nambari ya FP8 hutumia biti ngapi ikilinganishwa na nambari ya kawaida ya FP32?
FP8 hutumia biti 8 huku FP32 inatumia biti 32, kwa hivyo FP8 inachukua robo moja ya hifadhi na kipimo data.
Lebo za 'E4M3' na 'E5M2' zinaelezea nini kuhusu umbizo la FP8?
E4M3 ina maana ya biti 4 za kielelezo na biti 3 za mantissa; E5M2 inamaanisha kipeo 5 na biti 2 za mantissa. Biti za kipeo zaidi huongeza safu; bits zaidi mantissa kuongeza usahihi.
Kwa nini mabomba ya FP8 hutumia vipengele vya kuongeza viwango kwa tensor?
Kwa vipeo vichache sana, thamani kubwa hufurika na ndogo hutiririka hadi sifuri. Kuongeza viwango vya kupima tena vipimo kwenye dirisha linaloweza kutumika la FP8 kabla ya hesabu.
Ni biashara gani ambayo ni upande wa chini wa kutumia FP8?
Biti chache humaanisha uwakilishi mbaya zaidi na hitilafu zaidi ya kuzungusha. Faida ni kumbukumbu chache na kipimo data, na hesabu ya haraka kwenye maunzi yanayotumika.
Ni kizazi gani cha NVIDIA GPU kiliongeza usaidizi maalum wa maunzi kwa hesabu ya matrix ya FP8?
GPU zinazotegemea Hopper kama vile H100 ilianzisha usaidizi wa FP8 Tensor Core, na Blackwell baadaye alipanua hii hadi FP4.