ٹیکنیکل گائیڈ
ٹینسر کور
Tensor Cores جدید NVIDIA GPUs کے اندر خصوصی ہارڈ ویئر یونٹس ہیں جو میٹرکس ضرب اور جمع آپریشن کو انتہائی تیزی سے انجام دیتے ہیں۔
اس گائیڈ کو سنیں۔اے آئی نے بیان کیا۔ · ~2 min
اس صفحہ پر2 منٹ پڑھیں
جائزہ
They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.
گہرا غوطہ
2017 میں وولٹا آرکیٹیکچر کے ساتھ متعارف کرایا گیا، Tensor Cores مخصوص سرکٹس ہیں جو معیاری CUDA cores پر ایک وقت میں ایک ضرب کرنے کے بجائے، ایک ہی آپریشن میں ایک چھوٹے میٹرکس ضرب کے علاوہ ایک اضافے (D = A x B + C) کی گنتی کرتے ہیں۔ چونکہ نیورل نیٹ ورک کی عملی طور پر ہر پرت میٹرکس ضرب تک کم ہو جاتی ہے، اس لیے یہ ریاضی کے AI سے میل کھاتا ہے۔ ہر GPU جنریشن نے اسے بڑھایا جس کو وہ سنبھالتے ہیں: Volta نے 4x4 FP16 ٹائلیں کیں، جب کہ بعد میں Ampere، Hopper، اور Blackwell architectures نے TF32، BF16، INT8، FP8، اور FP4 جیسے کم درستگی والے فارمیٹس کو شامل کیا۔ کم درستگی کا مطلب ہے کہ فی گھڑی پروسیس کی جانے والی زیادہ تعداد، درستگی کو قابل قبول رکھتے ہوئے تربیت اور تخمینہ کے لیے ڈرامائی طور پر تھرو پٹ کو بڑھانا۔
حقیقی دنیا کا نفاذ
GPT طرز کے ٹرانسفارمرز جیسے بڑے زبان کے ماڈلز کو تربیت دینا، جہاں BF16 یا FP8 میں Tensor Cores پر فی قدم اربوں میٹرکس ضربیں چلتی ہیں۔
چیٹ بوٹس اور امیج جنریٹرز کے لیے ریئل ٹائم انفرنس چلانا، فی GPU زیادہ صارفین کی خدمت کے لیے INT8 یا FP8 کوانٹائزیشن کا استعمال۔
ویڈیو گیمز میں NVIDIA DLSS کو تیز کرنا، جہاں ایک نیورل نیٹ ورک ہر فریم کو Tensor Cores کا استعمال کرتے ہوئے نچلے ریزولوشن والے فریموں کو بڑھاتا ہے۔
سائنسی کمپیوٹنگ کو تیز کرنا جیسے کہ پروٹین فولڈنگ (الفا فولڈ) اور موسمی ماڈلز جنہیں میٹرکس ہیوی نیورل ورک بوجھ کے طور پر ریفارم کیا گیا ہے۔
ٹینسر کور کا مستقبل
ٹینسر کور ہمیشہ کم درستگی کی طرف بڑھتے رہتے ہیں: ہوپر نے FP8 کو شامل کیا اور بلیک ویل نے ہارڈ ویئر کے زیر انتظام اسکیلنگ کے ساتھ 4-bit FP4 متعارف کرایا، جس سے اندازہ لگانے والے بھاری کام کے بوجھ کے لیے ہر قدم کے ذریعے تھرو پٹ کو تقریباً دوگنا کر دیا گیا۔ اسپارسٹی (صفر وزن کو چھوڑنا)، مائیکرو اسکیلنگ فارمیٹس کے لیے سخت سپورٹ کی توقع کریں جو نمبروں کے چھوٹے بلاکس میں پیمانے کے عوامل کو منسلک کرتے ہیں، اور میموری سسٹم کے ساتھ گہرے انضمام کی توقع کریں تاکہ کور فیڈ رہیں۔ جیسے جیسے ماڈلز بڑھتے ہیں، میٹرکس انجن، نہ کہ خام گھڑی کی رفتار، AI ہارڈویئر کی کارکردگی کے لیے مرکزی میدان جنگ بنا ہوا ہے۔
اسے عملی جامہ پہنانا
یہ کیوں اہمیت رکھتا ہے۔
- لاگت اور بجٹ. فن تعمیر کے فیصلے سالوں تک کارکردگی اور آپریٹنگ لاگت کو آگے بڑھاتے ہیں۔
- واضح فیصلے. تکنیکی تعلیم ٹیموں کو صحیح اسٹیک منتخب کرنے میں مدد کرتی ہے، نہ صرف جدید ترین۔
- کوالٹی کنٹرول. انجینئرنگ کے بہتر انتخاب پیداوار میں قابل اعتماد واقعات کو کم کرتے ہیں۔
پر نگاہ رکھیں
- ایک بینچ مارک کو بہتر بنانا نظام کی وسیع تر کمزوریوں کو چھپا سکتا ہے۔
- بنیادی ڈھانچے اور دیکھ بھال کے اخراجات کو اکثر کم سمجھا جاتا ہے۔
- سیکورٹی اور مشاہداتی فرق بڑھ سکتا ہے کیونکہ نظام زیادہ پیچیدہ ہو جاتا ہے۔
اگلے اقدامات
- نفاذ سے پہلے تاخیر، معیار اور لاگت کے اہداف کی وضاحت کریں۔
- حقیقت پسندانہ بوجھ اور ڈیٹا کی شرائط کے تحت بینچ مارک۔
- غلطیوں، بڑھے ہوئے، اور صارف کے اثرات کے لیے آلے کی نگرانی۔
- اسکیلنگ سے پہلے رول بیک اور واقعہ کے ردعمل کے راستے تیار کریں۔
دریافت کرتے رہیں
مفت نیوز لیٹر
روزانہ AI بریفنگ حاصل کریں
ہر ہفتے کے دن صبح تین تصدیق شدہ AI کہانیاں، سادہ انگریزی میں لکھی گئیں۔ ہمیشہ کے لیے مفت، کوئی اشتہار نہیں۔
ہر ہفتے کے دن ایک ای میل۔ ایک کلک میں ان سبسکرائب کریں۔ ہم کبھی بھی آپ کا پتہ فروخت یا شیئر نہیں کرتے۔
اپنے آپ کو جانچیں۔
Take the Tensor Cores quiz
ہر جواب پر فوری فیڈبیک، اور کورس پاس کرنے کے بعد قابلِ تصدیق ID کے ساتھ شیئر کرنے کے قابل سرٹیفکیٹ۔
مفت AI تعلیم کی حمایت کریں۔ AI Understanding ایک 501(c)(3) غیر منافع بخش ادارہ ہے — کوئی اشتہار نہیں، کوئی پے وال نہیں، کبھی نہیں۔ عطیہ کریں۔
اکثر پوچھے گئے سوالات
What is Tensor Cores?
Tensor Cores جدید NVIDIA GPUs کے اندر خصوصی ہارڈ ویئر یونٹس ہیں جو میٹرکس ضرب اور جمع آپریشن کو انتہائی تیزی سے انجام دیتے ہیں۔ یہ بنیادی وجہ ہیں کہ ایک واحد GPU بڑے عصبی نیٹ ورکس کو تربیت دے سکتا ہے اور چلا سکتا ہے جس کی شدت عام مقصد کے کمپیوٹ کی اجازت دیتا ہے۔
Tensor Cores کو کس بنیادی ریاضیاتی آپریشن کو تیز کرنے کے لیے خاص طور پر ڈیزائن کیا گیا ہے؟
ٹینسر کور ایک قدم میں فیوزڈ میٹرکس ضرب پلس جمع کرتے ہیں، جو بالکل وہی آپریشن ہے جو نیورل نیٹ ورک کی تہوں پر حاوی ہے۔
کس NVIDIA GPU فن تعمیر نے سب سے پہلے ٹینسر کور متعارف کرایا؟
Tensor Cores نے FP16 4x4 میٹرکس آپریشنز کے ساتھ، 2017 میں Volta فن تعمیر کے ساتھ ڈیبیو کیا۔
ٹینسر کور اکثر FP16 یا FP8 کی طرح کم درستگی کیوں استعمال کرتے ہیں؟
فی نمبر کم بٹس استعمال کرنے کا مطلب ہے کہ ہر سائیکل میں ہارڈ ویئر کے ذریعے زیادہ قدریں بہہ جاتی ہیں، صرف ایک چھوٹی، عام طور پر قابل برداشت، درستگی کے نقصان کے ساتھ رفتار میں بہت زیادہ اضافہ ہوتا ہے۔
درستگی کو محفوظ رکھنے کے لیے، Tensor Cores عام طور پر چلنے والی رقم (جمع) کے لیے کون سی درستگی استعمال کرتے ہیں؟
ان پٹ کم درستگی کے حامل ہو سکتے ہیں، لیکن جمع کرنے والا عام طور پر FP32 کی طرح زیادہ درستگی میں چلتا ہے تاکہ راؤنڈنگ کی غلطیوں کو محدود کیا جا سکے۔
روزمرہ کے AI فریم ورک جیسے PyTorch Tensor Cores کا استعمال کیسے کرتے ہیں؟
بنیادی لائبریریاں بڑے میٹرکس آپریشنز کو خود بخود ٹینسر کور سائز کی ٹائلوں میں توڑ دیتی ہیں، اس لیے فریم ورک مینوئل کوڈنگ کے بغیر اسپیڈ اپ حاصل کرتے ہیں۔
سیکھتے رہیں
متعلقہ گائیڈز
اس موضوع کے لیے مزید گائیڈز چنے گئے ہیں۔