شبكات InfiniBand وRDMA
InfiniBand عبارة عن اتصال بيني عالي السرعة ومنخفض الكمون يربط الخوادم ووحدات معالجة الرسومات في مجموعات الذكاء الاصطناعي، ويتيح RDMA لجهاز واحد قراءة ذاكرة جهاز آخر أو كتابتها دون الحاجة إلى استخدام وحدة المعالجة المركزية.
نظرة عامة
معا، هما السباكة التي تغذي آلاف وحدات معالجة الرسومات بالبيانات خلال تدريب النماذج الكبيرة.
الغوص العميق
عندما تقوم بتدريب نموذج عبر الآلاف من وحدات معالجة الرسومات، غالبًا ما تصبح الشبكة هي عنق الزجاجة، وليس الرقائق. InfiniBand عبارة عن نسيج مبدل مصمم خصيصًا لهذا الغرض: فهو يوفر عرض نطاق ترددي لكل رابط بمئات الجيجابت في الثانية (يعمل NDR بسرعة 400 جيجابت في الثانية) وزمن وصول على نطاق ميكروثانية. وتتمثل خدعتها الرئيسية في الوصول المباشر للذاكرة عن بعد (RDMA)، الذي ينقل البيانات مباشرة بين ذاكرة عقدتين، متجاوزًا نسخ نواة نظام التشغيل ووحدة المعالجة المركزية التي تعمل على إبطاء TCP/IP العادي. يؤدي هذا "تجاوز النواة" إلى تحرير دورات وحدة المعالجة المركزية وتقليل زمن الوصول. يوفر InfiniBand أيضًا التحكم في تدفق الأجهزة من أجل نسيج لا يفقد البيانات، وتهيمن محولات Quantum من NVIDIA بالإضافة إلى محولات ConnectX على أجهزة الكمبيوتر العملاقة التي تعمل بالذكاء الاصطناعي. توفر RoCE (RDMA عبر Ethernet المتقاربة) فوائد RDMA مماثلة لشبكات Ethernet.
البصيرة الفنية
يعمل RDMA من خلال الأفعال وأزواج قائمة الانتظار. ينشر التطبيق طلبات العمل لإرسال واستقبال قوائم الانتظار؛ يقرأها محول الشبكة (HCA) وينقل البيانات مباشرة إلى مناطق الذاكرة المثبتة مسبقًا والمسجلة على المضيف البعيد. ونظرًا لأن بطاقة NIC تتولى عملية النقل في الأجهزة ويتم تجاوز kernel لنظام التشغيل، فلا توجد نسخ للبيانات ولا توجد مقاطعات لوحدة المعالجة المركزية لكل حزمة للنقل المجمع. يمنع التحكم في التدفق المعتمد على طبقة الارتباط في InfiniBand تجاوز سعة المخزن المؤقت، مما يجعل النسيج بلا فقدان دون عواصف إعادة الإرسال.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل شبكات InfiniBand وRDMA
يستمر عرض النطاق الترددي في الارتفاع: يستهدف XDR InfiniBand سرعة 800 جيجابت/ثانية لكل رابط، مع خرائط طريق نحو 1.6 تيرابت/ثانية. تشتد المنافسة حيث يقوم اتحاد Ultra Ethernet بتصميم شبكة Ethernet تتطابق مع InfiniBand لأحمال عمل الذكاء الاصطناعي، ومع قيام الحوسبة داخل الشبكة (SHARP) بتفريغ العمليات الحسابية الجماعية في المحولات نفسها. توقع تكاملًا أكثر إحكامًا بين وحدة معالجة الرسومات والشبكة، واتصالات بصرية لخفض الطاقة، وتوسيع نطاق الأقمشة إلى مجموعات تضم مئات الآلاف من المسرعات مع نمو النماذج الحدودية.
التنفيذ في العالم الحقيقي
توصيل الآلاف من وحدات معالجة الرسومات في كمبيوتر فائق الذكاء الاصطناعي بحيث تنتقل البيانات المتدرجة بين العقد بالميكروثانية أثناء التدريب الموزع
السماح لأحد الخوادم بقراءة ذاكرة خادم آخر مباشرة (RDMA) لتسريع أنظمة الملفات وقواعد البيانات الموزعة دون تحميل وحدة المعالجة المركزية
تشغيل عمليات التخفيض الشامل لـ NCCL عبر InfiniBand لمزامنة أوزان النماذج عبر مجموعة GPU
استخدام RoCE لإجراء عمليات نقل ذات زمن وصول منخفض بنمط RDMA إلى شبكات مراكز بيانات Ethernet الحالية
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfiniBand and RDMA Networking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
ميزة خطوط الأنابيب الهندسية وإصدار البيانات
الأسئلة المتداولة
ما هي شبكة إنفيني باند وRDMA؟
InfiniBand عبارة عن اتصال بيني عالي السرعة ومنخفض الكمون يربط الخوادم ووحدات معالجة الرسومات في مجموعات الذكاء الاصطناعي، ويتيح RDMA لجهاز واحد قراءة ذاكرة جهاز آخر أو كتابتها دون الحاجة إلى استخدام وحدة المعالجة المركزية. إنهم معًا هم السباكة التي تحافظ على تغذية الآلاف من وحدات معالجة الرسومات بالبيانات أثناء التدريب على النماذج الكبيرة.
ما الذي يسمح RDMA بشكل أساسي لجهاز كمبيوتر واحد بالقيام به؟
يعمل الوصول المباشر للذاكرة عن بعد على نقل البيانات مباشرة بين ذاكرة العقدتين، متجاوزًا نسخ نواة نظام التشغيل ووحدة المعالجة المركزية، مما يقلل زمن الوصول ويحرر دورات وحدة المعالجة المركزية.
لماذا يحقق InfiniBand زمن وصول أقل بكثير من شبكات TCP/IP العادية؟
تقوم محولات InfiniBand بنقل البيانات مباشرة من/إلى الذاكرة المثبتة في الأجهزة وتجاوز نواة نظام التشغيل، مما يؤدي إلى التخلص من مقاطعات وحدة المعالجة المركزية لكل حزمة ونسخ البيانات.
ما هو عرض النطاق الترددي لكل رابط تقريبًا الذي يوفره NDR InfiniBand؟
NDR (معدل البيانات التالي) يعمل InfiniBand بسرعة 400 جيجابت/ثانية لكل رابط، مع استهداف XDR بسرعة 800 جيجابت/ثانية في الجيل التالي.
في RDMA، ما هي "أزواج قائمة الانتظار" المستخدمة؟
تقوم التطبيقات بنشر طلبات العمل لإرسال واستقبال قوائم الانتظار (أزواج قوائم الانتظار)؛ يقرأها محول القناة المضيفة ويقوم بعمليات النقل المباشر للذاكرة.
ما هو روس؟
يرمز RoCE إلى RDMA عبر شبكة إيثرنت متقاربة، مما يسمح بعمليات نقل ذات زمن وصول منخفض وتجاوز kernel على أقمشة Ethernet القياسية بدلاً من InfiniBand الأصلي.