الدليل الفني
SmoothQuant وتنشيط الكمي
SmoothQuant هي تقنية تجعل من الممكن ضغط نماذج اللغة الكبيرة إلى أعداد صحيحة 8 بت لكل من الأوزان والتنشيطات دون إعادة التدريب.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
وهذا مهم لأن عمليات التنشيط في النماذج الكبيرة تحتوي على قيم متطرفة تدمر عادةً الرياضيات منخفضة الدقة، ويقوم SmoothQuant بترويضها.
الغوص العميق
عندما تقوم بتقليص نموذج من أعداد صحيحة ذات 16 بت إلى أعداد صحيحة ذات 8 بت، يتم ضغط الأوزان بسهولة ولكن عمليات التنشيط تمثل مشكلة: بعض القنوات تحمل قيمًا أكبر من 10 إلى 100 مرة من البقية، وإجبارها على شبكة أعداد صحيحة خشنة يدمر الدقة. SmoothQuant، قدمه شياو وآخرون. في عام 2022، لاحظ أن الأوزان سلسة وسهلة القياس بينما تكون عمليات التنشيط شائكة. لذا فهو ينقل الصعوبة رياضيًا: فهو يقسم قنوات التنشيط على مقياس لكل قناة ويضرب الأوزان المقابلة بنفس المقياس. يتم إلغاء العمليتين، مما يترك مخرجات النموذج دون تغيير، ولكن الآن يقع كلا الموتدين في نطاقات ودية. والنتيجة هي استنتاج W8A8 (أوزان وتنشيطات 8 بت) مع فقدان دقة يقترب من الصفر وتسريع بمعدل 2x تقريبًا وتوفير في الذاكرة.
التنفيذ في العالم الحقيقي
تقديم LLM بمعلمة 70B في W8A8 على عدد أقل من وحدات معالجة الرسومات عن طريق خفض تكلفة الذاكرة ومضاعفة المصفوفة إلى النصف
تمكين استنتاج INT8 على نوى موتر NVIDIA Hopper/Blackwell التي تعمل أصلاً على تسريع العمليات الرياضية ذات الأعداد الصحيحة 8 بت
نشر نماذج الدردشة على نقاط نهاية سحابية محدودة التكلفة حيث تؤدي مضاعفة الإنتاجية إلى خفض فاتورة كل رمز بشكل مباشر
ضغط محولات التشفير للكلام أو الترجمة على الجهاز حيث تعمل نواة 8 بت بشكل أسرع وأكثر برودة
مستقبل SmoothQuant وتنشيط الكمي
أثبتت SmoothQuant أن القيم المتطرفة للتنشيط قابلة للترحيل وليست حتمية، وهذه الفكرة تدعم الآن خدمة الإنتاج INT8 وFP8. توقع أن يتم دمج التجانس مع المخططات الدقيقة مثل التكميم لكل مجموعة، والقياس المتعلم، وأبحاث التنشيط ذات 4 بت (على سبيل المثال، الأساليب الخارجية). مع نضوج أجهزة FP8 (Hopper، Blackwell)، سيستمر دمج موازنة أسلوب التجانس في خطوط أنابيب المترجم ومحرك الاستدلال بحيث يظل التكميم مجانيًا تقريبًا.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the SmoothQuant and Activation Quantization quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو SmoothQuant وتكميم التنشيط؟
SmoothQuant هي تقنية تجعل من الممكن ضغط نماذج اللغة الكبيرة إلى أعداد صحيحة 8 بت لكل من الأوزان والتنشيطات دون إعادة التدريب. وهذا مهم لأن عمليات التنشيط في النماذج الكبيرة تحتوي على قيم متطرفة تدمر عادةً الرياضيات منخفضة الدقة، ويقوم SmoothQuant بترويضها.
ما هي المشكلة التي يعالجها SmoothQuant على وجه التحديد في الاستدلال منخفض الدقة؟
تستهدف SmoothQuant القيم الخارجية الكبيرة التي تظهر في قنوات تنشيط معينة، والتي تدمر الدقة عندما يتم تحديد عمليات التنشيط إلى 8 بت.
كيف يعمل SmoothQuant على تسهيل عملية التنشيط؟
فهو يقسم قنوات التنشيط بمقياس لكل قناة ويضرب الأوزان المتطابقة بهذا المقياس، بحيث لا يتغير المنتج ولكن يصبح قياس كلا الموتدين أسهل.
ماذا يعني التدوين W8A8؟
يشير W8A8 إلى تكميم 8 بت لكل من الأوزان (W) وعمليات التنشيط (A)، ويتيح نظام SmoothQuant الحد الأدنى من فقدان الدقة.
لماذا لا يضيف مقياس SmoothQuant أي تكاليف إضافية لوقت التشغيل؟
يتم طي مقاييس التجانس في أوزان الطبقة السابقة أو عملية دمج مسبقًا، لذلك لا تحدث أي حسابات إضافية عند الاستدلال.
ما هو الدور الذي تلعبه معلمة ألفا الفائقة في SmoothQuant؟
يوازن ألفا (عادة 0.5) عامل التجانس، ويحدد مقدار صعوبة التكميم التي يتم نقلها من عمليات التنشيط إلى الأوزان.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع