الدليل الفني
RMSNorm وتطبيع الطبقة المسبقة
RMSNorm عبارة عن طبقة تسوية خفيفة الوزن تعمل على إعادة قياس عمليات التنشيط حسب مربع متوسط الجذر الخاص بها، وتضع تسوية الطبقة المسبقة خطوة قبل كل طبقة فرعية وليس بعدها.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
Together they make deep transformers train stably without warmup tricks.
الغوص العميق
يقوم Standard LayerNorm بطرح المتوسط والقسمة على الانحراف المعياري عبر متجه المعالم، ثم يطبق مقياسًا وإزاحة تم تعلمهما. RMSNorm، الذي قدمه Zhang وSennrich في عام 2019، يسقط متوسط التمركز والتحيز تمامًا: فهو ببساطة يقسم كل متجه على جذر متوسط مربع عناصره ويضربه في الربح المكتسب لكل ميزة. يؤدي هذا إلى إزالة إحصائية واحدة والعديد من العمليات، مما يقلل الحوسبة بنسبة 10-50% تقريبًا في الطبقة المعيارية مع مطابقة الدقة. بشكل منفصل، فإن موضع "ما قبل LN" (المعيار قبل الانتباه/MLP، مع مسار متبقي نظيف حوله) يحافظ على مقادير التدرج محدودة عند التهيئة، لذلك تتدرب نماذج مثل GPT-3 وLLaMA وPaLM دون اختراقات إحماء معدل التعلم التي يتطلبها محول Post-LN الأصلي.
التنفيذ في العالم الحقيقي
يقوم كل من LLaMA وMistral وQwen باستبدال LayerNorm بـ RMSNorm لتقليص زمن الوصول للاستدلال على كل رمز مميز
يتيح Pre-LN لنماذج نمط GPT التدريب دون الحاجة إلى تسخين معدل التعلم الذي يحتاجه محول Post-LN لعام 2017
يستخدم تطبيع QK RMSNorm في استعلامات الانتباه والمفاتيح لمنع انفجار السجلات في النماذج الكبيرة
تعتمد محولات الأجهزة المحمولة والحافة RMSNorm لأن إسقاط المتوسط والتحيز يقلل من حركة مرور الذاكرة
مستقبل RMSNorm وتطبيع الطبقة المسبقة
أصبح RMSNorm الآن هو الإعداد الافتراضي في معظم برامج LLM ذات الوزن المفتوح (LLaMA، وMistral، وQwen، وGemma)، لذا توقع أن يظل قياسيًا. يعمل البحث على تحسين الوصفة: يطبق معيار QK RMSNorm على استعلامات الانتباه ومفاتيح ترويض نمو اللوغاريتم، وتجمع بعض المختبرات بين المعيار السابق واللاحق ("الساندويتش" أو "Peri-LN") لتحقيق مزيد من الاستقرار على مقياس تريليون معلمة. تستمر حبات الأجهزة في دمج العملية من أجل السرعة.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the RMSNorm and Pre-Layer Normalization quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is RMSNorm and Pre-Layer Normalization?
RMSNorm عبارة عن طبقة تسوية خفيفة الوزن تعمل على إعادة قياس عمليات التنشيط حسب مربع متوسط الجذر الخاص بها، وتضع تسوية الطبقة المسبقة خطوة قبل كل طبقة فرعية وليس بعدها. معًا يجعلون المحولات العميقة تتدرب بثبات دون حيل الإحماء.
ما الذي يحذفه RMSNorm مقارنةً بـ LayerNorm القياسي؟
يتخطى RMSNorm عملية الحوسبة وطرح المتوسط، ويتم التسوية فقط من خلال جذر متوسط مربع عمليات التنشيط.
ما هي الكمية التي يقسم بها RMSNorm كل متجه تنشيط؟
يقسم RMSNorm على sqrt متوسط العناصر المربعة، أي جذر متوسط المربع، ثم يطبق الكسب المكتسب.
What gradient behavior does Pre-LN support at initialization in deep Transformers?
Xiong et al. analyze gradient behavior and show Pre-LN gradients are better behaved at initialization; this does not guarantee warmup-free training for every setup.
في كتلة ما قبل LN، ما هو المسار الذي تتركه طبقة التسوية دون تغيير عمدًا؟
يقوم Pre-LN بتطبيع الإدخال إلى طبقة فرعية ولكن الاختصار المتبقي يتجاوزها، مما يحافظ على طريق سريع متدرج نظيف.
ما هي عائلات النماذج الحديثة ذات الوزن المفتوح التي تستخدم RMSNorm افتراضيًا؟
أصبح RMSNorm هو التطبيع القياسي في LLaMA وMistral وQwen وGemma وأحدث برامج LLM.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع