الدليل الفني
ذاكرة النطاق الترددي العالي
ذاكرة النطاق الترددي العالي (HBM) هي ذاكرة مكدسة موضوعة بجوار وحدة معالجة الرسومات مباشرة والتي توفر البيانات بشكل أسرع بكثير من ذاكرة الوصول العشوائي العادية.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
وهو ما يحافظ على تغذية مسرعات الذكاء الاصطناعي، مما يمنع مراكز الحوسبة القوية من البقاء في وضع الخمول أثناء انتظار أوزان النماذج والبيانات.
الغوص العميق
تحل HBM عنق الزجاجة الأساسي: يمكن لرقائق الذكاء الاصطناعي الحديثة إجراء تريليونات من العمليات في الثانية، ولكن فقط إذا وصلت البيانات بسرعة كافية. تتصل ذاكرة GDDR القياسية عبر ناقل ضيق نسبيًا، بينما تقوم ذاكرة HBM بتكديس قوالب DRAM المتعددة عموديًا وتوصيلها بآلاف من الأسلاك الرأسية الصغيرة التي تسمى عبر السيليكون (TSVs). تقع هذه الأكوام على وسيط من السيليكون على بعد ملليمترات من وحدة معالجة الرسومات، مما يوفر مسارًا واسعًا للغاية للبيانات، فكر في آلاف البتات في وقت واحد بدلاً من المئات. والنتيجة هي عرض النطاق الترددي المقاس بالتيرابايت في الثانية. لقد تطورت الأجيال من HBM2 إلى HBM2e، وHBM3، وHBM3e، مما أدى إلى زيادة السعة والسرعة. بالنسبة لنماذج اللغات الكبيرة، التي يجب أن يتم دفق أوزانها باستمرار، غالبًا ما تكون سعة HBM وعرض النطاق الترددي أكثر أهمية من الحوسبة الأولية.
التنفيذ في العالم الحقيقي
الاحتفاظ بعشرات أو مئات الجيجابايت من الأوزان لنموذج لغة كبير بالقرب من وحدة معالجة الرسومات حتى يمكن دفقها أثناء كل خطوة استدلال.
تمكين وحدات معالجة الرسومات لمراكز البيانات NVIDIA H100 وH200 من الوصول إلى عدة تيرابايت في الثانية من عرض النطاق الترددي للذاكرة للتدريب.
تشغيل مجموعات تدريب الذكاء الاصطناعي حيث تعتمد العديد من وحدات معالجة الرسومات على HBM لتجنب المماطلة بين عمليات المصفوفة.
دعم نماذج الصور والفيديو التوليدية عالية الدقة التي يجب أن تحرك موترات التنشيط الضخمة داخل وخارج الذاكرة بسرعة.
مستقبل الذاكرة ذات النطاق الترددي العالي
يعد النطاق الترددي للذاكرة الآن عائقًا رئيسيًا أمام الذكاء الاصطناعي، لذلك تتقدم HBM بسرعة. يتم شحن HBM3e في مسرعات رائدة، مع وعد HBM4 في الأفق بواجهات أوسع ومكدسات أطول وقدرة أكبر لكل حزمة. توقع تصميمًا مشتركًا أوثق بين الذاكرة والمنطق، وربما قوالب قاعدة مخصصة ومعالجة الذاكرة القريبة، بالإضافة إلى المنافسة الشرسة بين الموردين مثل SK hynix وSamsung وMicron. مع نمو النماذج، يظل تقريب المزيد من البيانات من الحوسبة بشكل أسرع وبطاقة أقل أمرًا أساسيًا لتقدم أجهزة الذكاء الاصطناعي.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the High Bandwidth Memory quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هي الذاكرة ذات النطاق الترددي العالي؟
ذاكرة النطاق الترددي العالي (HBM) هي ذاكرة مكدسة موضوعة بجوار وحدة معالجة الرسومات مباشرة والتي توفر البيانات بشكل أسرع بكثير من ذاكرة الوصول العشوائي العادية. وهو ما يحافظ على تغذية مسرعات الذكاء الاصطناعي، مما يمنع نوى الحوسبة القوية من البقاء في وضع الخمول أثناء انتظار أوزان النماذج والبيانات.
ما هي المشكلة الأساسية التي تعالجها ذاكرة النطاق الترددي العالي لمسرعات الذكاء الاصطناعي؟
لا يمكن لرقائق الذكاء الاصطناعي إجراء تريليونات من العمليات في الثانية إلا إذا وصلت البيانات بسرعة كافية؛ توفر HBM هذا النطاق الترددي حتى لا يتم تجويع النوى.
كيف يتم بناء HBM فعليًا بشكل مختلف عن ذاكرة GDDR العادية؟
تقوم HBM بتكديس قوالب DRAM فوق بعضها البعض وربطها بآلاف الأسلاك الرأسية (TSVs)، مما يؤدي إلى إنشاء مسار بيانات واسع جدًا.
ما الذي تعتمد عليه HBM بشكل أساسي لتحقيق النطاق الترددي العالي الخاص بها؟
بدلاً من تسجيل الوقت بشكل أسرع، يعرض HBM واجهة واسعة جدًا (1024 بت لكل مكدس وما فوق) بحيث يتحرك العديد من البايتات في وقت واحد.
لماذا يتم وضع مكدسات HBM على وسيط السيليكون بجوار وحدة معالجة الرسومات مباشرةً؟
تعمل الأسلاك القصيرة الموجودة على وسيط مشترك على تقليل الطاقة اللازمة لكل بتة يتم نقلها وتقليل زمن الوصول بين الذاكرة والحوسبة.
بالنسبة لنماذج اللغات الكبيرة على وجه التحديد، لماذا يمكن أن تكون HBM مهمة بقدر أهمية الحوسبة الأولية؟
يقوم استدلال LLM باستمرار بتدفق مصفوفات ذات وزن كبير، لذا غالبًا ما تصبح سعة الذاكرة وعرض النطاق الترددي العامل المحدد بدلاً من حساب الإنتاجية.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع