التاليالدليل التالي
Core ML for On-Device Apple Deployment
التقنية
الدليل الفني
النوى الموتر
Tensor Cores عبارة عن وحدات أجهزة متخصصة داخل وحدات معالجة الرسومات NVIDIA الحديثة التي تؤدي عمليات مضاعفة وتجميع المصفوفة بسرعة كبيرة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.
الغوص العميق
تم تقديم Tensor Cores مع بنية Volta في عام 2017، وهي عبارة عن دوائر مخصصة تحسب مضاعفة مصفوفة صغيرة بالإضافة إلى إضافة (D = A x B + C) في عملية واحدة، بدلاً من القيام بكل عملية مضاعفة واحدة تلو الأخرى على نوى CUDA القياسية. نظرًا لأن كل طبقة من الشبكة العصبية تقريبًا تقلل من مضاعفات المصفوفة، فإن هذا يتوافق مع الرياضيات التي يحتاجها الذكاء الاصطناعي بالفعل. قام كل جيل من أجيال GPU بتوسيع ما يتعامل معه: قامت Volta بعمل بلاطات 4x4 FP16، بينما أضافت معماريات Ampere وHopper وBlackwell اللاحقة تنسيقات أقل دقة مثل TF32 وBF16 وINT8 وFP8 وFP4. الدقة المنخفضة تعني معالجة المزيد من الأرقام في كل ساعة، مما يزيد بشكل كبير من إنتاجية التدريب والاستدلال مع الحفاظ على الدقة المقبولة.
التنفيذ في العالم الحقيقي
تدريب نماذج لغوية كبيرة مثل المحولات ذات نمط GPT، حيث يتم تشغيل مليارات عمليات ضرب المصفوفة في كل خطوة على Tensor Cores في BF16 أو FP8.
تشغيل الاستدلال في الوقت الفعلي لروبوتات الدردشة ومولدات الصور، باستخدام تكميم INT8 أو FP8 لخدمة المزيد من المستخدمين لكل وحدة معالجة رسومات.
تسريع NVIDIA DLSS في ألعاب الفيديو، حيث تعمل الشبكة العصبية على ترقية الإطارات ذات الدقة المنخفضة باستخدام Tensor Cores في كل إطار.
تسريع الحوسبة العلمية مثل طي البروتين (AlphaFold) ونماذج الطقس التي تمت إعادة صياغتها كأعباء عمل عصبية ثقيلة المصفوفة.
مستقبل النوى الموتر
تستمر نوى Tensor في التحرك نحو دقة أقل من أي وقت مضى: أضاف Hopper FP8 وقدمت Blackwell FP4 4 بت مع إمكانية القياس المُدارة بواسطة الأجهزة، مما أدى إلى مضاعفة الإنتاجية تقريبًا في كل خطوة لأعباء العمل الثقيلة الاستدلال. توقع دعمًا أكثر إحكامًا للتناثر (تخطي الأوزان الصفرية)، وتنسيقات القياس الدقيق التي تربط عوامل القياس بكتل صغيرة من الأرقام، والتكامل الأعمق مع أنظمة الذاكرة حتى تظل النوى مغذية. مع نمو النماذج، يظل محرك المصفوفة، وليس سرعة الساعة الأولية، هو ساحة المعركة المركزية لأداء أجهزة الذكاء الاصطناعي.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Tensor Cores quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Tensor Cores?
Tensor Cores عبارة عن وحدات أجهزة متخصصة داخل وحدات معالجة الرسومات NVIDIA الحديثة التي تؤدي عمليات مضاعفة وتجميع المصفوفة بسرعة كبيرة. إنها السبب الرئيسي وراء قدرة وحدة معالجة الرسومات الواحدة على تدريب وتشغيل شبكات عصبية كبيرة بأوامر من حيث الحجم بشكل أسرع مما تسمح به حسابات الأغراض العامة.
ما هي العملية الرياضية الأساسية التي تم تصميم Tensor Cores خصيصًا لتسريعها؟
تؤدي Tensor Cores عملية مضاعفة المصفوفة المدمجة بالإضافة إلى التراكم في خطوة واحدة، وهي بالضبط العملية التي تهيمن على طبقات الشبكة العصبية.
ما هي بنية NVIDIA GPU التي قدمت Tensor Cores لأول مرة؟
ظهرت Tensor Cores لأول مرة مع بنية Volta في عام 2017، بدءًا من عمليات المصفوفة FP16 4x4.
لماذا تستخدم Tensor Cores غالبًا دقة منخفضة مثل FP16 أو FP8؟
إن استخدام عدد أقل من البتات لكل رقم يعني تدفق المزيد من القيم عبر الأجهزة في كل دورة، مما يؤدي إلى زيادة السرعة بشكل كبير مع فقدان صغير للدقة، وعادة ما يكون مقبولاً.
للحفاظ على الدقة، ما هي الدقة التي تستخدمها Tensor Cores عادةً للمجموع الجاري (التراكم)؟
قد تكون المدخلات ذات دقة منخفضة، لكن المركم يعمل عادةً بدقة أعلى مثل FP32 للحد من تراكم أخطاء التقريب.
كيف تستفيد أطر الذكاء الاصطناعي اليومية مثل PyTorch من Tensor Cores؟
تقوم المكتبات الأساسية بتقسيم عمليات المصفوفة الكبيرة إلى مربعات بحجم Tensor-Core تلقائيًا، بحيث تحصل أطر العمل على التسريع دون الحاجة إلى ترميز يدوي.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع