FP8 اور کم صحت سے متعلق فارمیٹس
FP8 ایک 8-بٹ فلوٹنگ پوائنٹ نمبر فارمیٹ ہے جو AI ماڈلز کو معیاری 32-بٹ نمبروں کی میموری کا ایک چوتھائی استعمال کرتے ہوئے وزن کو ذخیرہ کرنے اور ریاضی چلانے دیتا ہے۔
جائزہ
It is a key trick for making giant models cheaper and faster to train and serve.
گہرا غوطہ
عصبی نیٹ ورک اربوں نمبروں سے بنے ہیں۔ روایتی طور پر ان نمبروں میں 32 بٹس (FP32) یا 16 بٹس (FP16/BF16) استعمال ہوتے ہیں۔ FP8 انہیں صرف 8 بٹس تک سکڑتا ہے، میموری اور بینڈوتھ کو تقریباً نصف بمقابلہ 16 بٹ تک کم کرتا ہے۔ دو عام FP8 لے آؤٹ ہیں: E4M3 (4 exponent bits, 3 mantissa bits) زیادہ درستگی لیکن ایک چھوٹی رینج دیتا ہے، اور E5M2 (5 exponent, 2 mantissa) ایک وسیع رینج دیتا ہے لیکن موٹے قدم۔ ٹریڈ آف وفاداری ہے: کم بٹس کا مطلب ہے راؤنڈنگ غلطیاں۔ درست رہنے کے لیے، فریم ورک فی ٹینسر یا فی بلاک اسکیلنگ فیکٹر لاگو کرتے ہیں جو FP8 کی قابل استعمال رینج میں قدروں کو ری اسکیل کرتے ہیں۔ NVIDIA کے Hopper اور Blackwell GPUs نے ہارڈ ویئر FP8 میٹرکس انجنوں کو شامل کیا، جس سے یہ تربیت اور اندازہ دونوں کے لیے عملی ہے۔ MXFP8، MXFP4، اور NVFP4 جیسے نئے فارمیٹس مشترکہ مائیکرو اسکیلنگ بلاکس کے ساتھ اور بھی نیچے کی طرف دھکیلتے ہیں۔
تکنیکی بصیرت
FP8 کا چیلنج متحرک حد ہے۔ صرف مٹھی بھر ایکسپوننٹ بٹس کے ساتھ، بڑی یا چھوٹی ایکٹیویشنز اوور فلو یا زیرو پر آجاتی ہیں۔ فکس اسکیلنگ ہے: ٹینسر کو کسی عنصر سے ضرب دیں تاکہ اس کی قدریں FP8 کی نمائندگی کرنے والی ونڈو میں اتریں، FP8 ضرب جمع کریں، پھر واپس تقسیم کریں، اکثر زیادہ درستگی (FP16/FP32) میں جزوی رقوم جمع ہوتی ہیں۔ E4M3 عام طور پر وزن اور ایکٹیویشن کے لیے استعمال کیا جاتا ہے، E5M2 گریڈینٹ کے لیے جہاں حد کی اہمیت درستگی سے زیادہ ہوتی ہے۔
اسٹریٹجک اثر
لاگت اور بجٹ
فن تعمیر کے فیصلے سالوں تک کارکردگی اور آپریٹنگ لاگت کو آگے بڑھاتے ہیں۔
واضح فیصلے
تکنیکی تعلیم ٹیموں کو صحیح اسٹیک منتخب کرنے میں مدد کرتی ہے، نہ صرف جدید ترین۔
کوالٹی کنٹرول
انجینئرنگ کے بہتر انتخاب پیداوار میں قابل اعتماد واقعات کو کم کرتے ہیں۔
FP8 اور کم صحت سے متعلق فارمیٹس کا مستقبل
درستگی نیچے کی طرف بڑھ رہی ہے۔ FP8 کے بعد 4 بٹ مائیکرو اسکیلنگ فارمیٹس (MXFP4, NVFP4) آئے جو ایک چھوٹے سے مشترکہ پیمانے پر فی چھوٹے بلاک کو پیک کرتے ہیں، اور بلیک ویل ہارڈ ویئر اب براہ راست FP4 کو تیز کرتا ہے۔ مخلوط صحت سے متعلق ترکیبوں کی توقع کریں جہاں مختلف پرتیں مختلف بٹ چوڑائیوں کا استعمال کرتی ہیں، نیز کوانٹائزیشن سے متعلق بہتر تربیت تاکہ 4 بٹ تخمینہ کے لیے ڈیفالٹ بن جائے۔ اینڈ گیم فرنٹیئر پیمانے کے ماڈلز کو کم، سستی چپس پر نچوڑ رہا ہے بغیر پیمائش کے معیار کے نقصان کے۔
حقیقی دنیا کا نفاذ
FP8 کا استعمال کرتے ہوئے NVIDIA Hopper/Blackwell GPUs پر بڑے زبان کے ماڈلز کو تربیت دینا BF16 کے مقابلے میں تقریباً دوگنا تھرو پٹ
FP8 میں چیٹ بوٹ کا اندازہ پیش کرنا تاکہ ایک ماڈل کم GPUs پر فٹ ہو اور فی سیکنڈ زیادہ درخواستوں کا جواب دے
نوڈس کے درمیان نیٹ ورک بینڈوتھ کو کاٹنے کے لیے تقسیم شدہ تربیت کے دوران گریڈینٹ کمیونیکیشن کے لیے E5M2 کا استعمال
MXFP4/NVFP4-کوانٹائزڈ ماڈلز کو ایک اعلیٰ میموری والے GPU پر ایک فرنٹیئر سکیل ماڈل فٹ کرنے کے لیے تعینات کرنا سستا اندازہ لگانے کے لیے
خطرات اور گارڈریلز
ایک بینچ مارک کو بہتر بنانا نظام کی وسیع تر کمزوریوں کو چھپا سکتا ہے۔
بنیادی ڈھانچے اور دیکھ بھال کے اخراجات کو اکثر کم سمجھا جاتا ہے۔
سیکورٹی اور مشاہداتی فرق بڑھ سکتا ہے کیونکہ نظام زیادہ پیچیدہ ہو جاتا ہے۔
نفاذ کا روڈ میپ
نفاذ سے پہلے تاخیر، معیار اور لاگت کے اہداف کی وضاحت کریں۔
حقیقت پسندانہ بوجھ اور ڈیٹا کی شرائط کے تحت بینچ مارک۔
غلطیوں، بڑھے ہوئے، اور صارف کے اثرات کے لیے آلے کی نگرانی۔
اسکیلنگ سے پہلے رول بیک اور واقعہ کے ردعمل کے راستے تیار کریں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the FP8 and Low-Precision Formats quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
ماڈل سیریلائزیشن فارمیٹس
اکثر پوچھے گئے سوالات
What is FP8 and Low-Precision Formats?
FP8 ایک 8-بٹ فلوٹنگ پوائنٹ نمبر فارمیٹ ہے جو AI ماڈلز کو معیاری 32-بٹ نمبروں کی میموری کا ایک چوتھائی استعمال کرتے ہوئے وزن کو ذخیرہ کرنے اور ریاضی چلانے دیتا ہے۔ یہ دیوہیکل ماڈلز کو سستا اور تیز تر تربیت دینے اور پیش کرنے کے لیے ایک کلیدی چال ہے۔
FP8 نمبر معیاری FP32 نمبر کے مقابلے میں کتنے بٹس استعمال کرتا ہے؟
FP8 8 بٹس استعمال کرتا ہے جبکہ FP32 32 بٹس استعمال کرتا ہے، لہذا FP8 اسٹوریج اور بینڈوتھ کا ایک چوتھائی حصہ لیتا ہے۔
'E4M3' اور 'E5M2' لیبل FP8 فارمیٹ کے بارے میں کیا بیان کرتے ہیں؟
E4M3 کا مطلب ہے 4 ایکسپوننٹ بٹس اور 3 مینٹیسا بٹس؛ E5M2 کا مطلب ہے 5 ایکسپوننٹ اور 2 مینٹیسا بٹس۔ مزید ایکسپوننٹ بٹس رینج کو وسیع کرتے ہیں۔ مزید مینٹیسا بٹس صحت سے متعلق شامل کرتے ہیں۔
FP8 پائپ لائنز ٹینسر پر اسکیلنگ فیکٹر کیوں لاگو کرتی ہیں؟
بہت کم ایکسپوننٹ بٹس کے ساتھ، بڑی قدریں اوور فلو اور چھوٹی قدریں زیرو ہو جاتی ہیں۔ اسکیلنگ ریاضی سے پہلے ٹینسر کو FP8 کی قابل استعمال ونڈو میں دوبارہ اسکیل کرتی ہے۔
FP8 استعمال کرنے کا بنیادی نقصان کون سا ٹریڈ آف ہے؟
کم بٹس کا مطلب ہے موٹے نمائندگی اور زیادہ گول کرنے والی غلطی۔ فائدہ بہت کم میموری اور بینڈوڈتھ ہے، اور معاون ہارڈ ویئر پر تیز ریاضی ہے۔
کس NVIDIA GPU جنریشن نے پہلی بار FP8 میٹرکس ریاضی کے لیے وقف ہارڈ ویئر سپورٹ شامل کیا؟
ہوپر پر مبنی GPUs جیسے H100 نے FP8 ٹینسر کور سپورٹ متعارف کرایا، اور بلیک ویل نے بعد میں اسے FP4 تک بڑھا دیا۔