دليل الأساسيات
الهبوط التدرج العشوائي مع الزخم
الزخم عبارة عن تعديل على نزول التدرج الذي يجمع متوسطًا جاريًا للتدرجات السابقة، مما يسمح للتحسين بالمرور بشكل أسرع عبر الوديان وتثبيط التذبذبات.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It is one of the most widely used training tricks in deep learning.
الغوص العميق
يقوم نزول التدرج العشوائي العادي (SGD) بتحديث المعلمات من خلال التحرك في الاتجاه المعاكس لتدرج الدفعة الصغيرة الحالي. في المناظر الطبيعية التي تشبه الوديان الطويلة والضيقة، يتعرج هذا الشكل المتعرج عبر الجدران شديدة الانحدار بينما يزحف على طول الأرضية اللطيفة. يعمل نظام الزخم، الذي شاعه بولياك ثم روملهارت وزملاؤه لاحقًا، على إصلاح ذلك من خلال الحفاظ على ناقل السرعة: كل خطوة تمزج التدرج الجديد مع جزء صغير (معامل الزخم، غالبًا 0.9) من السرعة السابقة. تعمل اتجاهات التدرج المتسقة على تعزيز وتسريع، في حين تلغي المكونات المتذبذبة جزئيًا. التشبيه الجسدي هو كرة ثقيلة تتدحرج إلى أسفل: فهي تبني السرعة في اتجاهات ثابتة وتكون أقل انحرافًا عن طريق المطبات المزعجة، مما يوفر تقاربًا أسرع وأكثر سلاسة من الفانيليا SGD.
التنفيذ في العالم الحقيقي
تدريب الشبكات التلافيفية العميقة مثل ResNet، حيث يعد SGD بزخم 0.9 وصفة قياسية.
تجانس تقديرات التدرج الصاخبة عند استخدام دفعات صغيرة صغيرة.
الهروب من الهضاب المحلية الضحلة عن طريق حمل السرعة عبر المناطق المسطحة.
بمثابة مصطلح الزخم داخل أدوات التحسين التكيفية مثل متغيرات Adam وRMSprop.
مستقبل الهبوط التدرج العشوائي مع الزخم
يظل الزخم أساسيًا: حيث يقوم المُحسنون التكيفيون مثل آدم ومتغيراته بتضمين تقدير اللحظة الأولى بأسلوب الزخم، ولا يزال SGD مع الزخم خط أساس قوي غالبًا ما يُعمم بشكل أفضل من الأساليب التكيفية في نماذج الرؤية الكبيرة. تستمر الأبحاث حول جدولة الزخم، وتناقص الوزن المنفصل، وتفاعلها مع التدريبات الجماعية الكبيرة جدًا. توقع أن يظل الزخم مكونًا أساسيًا مع تطور أدوات التحسين لنماذج أكبر من أي وقت مضى.
وضعها موضع التنفيذ
لماذا يهم
- قرارات أوضح. يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
- التكلفة والميزانية. يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
- الفريق وسير العمل. تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
احترس من
- قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
- يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
- غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
الخطوات التالية
- ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
- اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
- قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
- قم بالتوثيق حيث يساعد مؤشر Stochastic Gradient Descent باستخدام Momentum وأين تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Stochastic Gradient Descent with Momentum quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Stochastic Gradient Descent with Momentum?
الزخم عبارة عن تعديل على نزول التدرج الذي يجمع متوسطًا جاريًا للتدرجات السابقة، مما يسمح للتحسين بالمرور بشكل أسرع عبر الوديان وتثبيط التذبذبات. إنها واحدة من الحيل التدريبية الأكثر استخدامًا على نطاق واسع في التعلم العميق.
ماذا يتراكم مصطلح الزخم أثناء التدريب؟
يحافظ الزخم على ناقل السرعة الذي يمثل متوسطًا متحركًا مرجحًا بشكل كبير للتدرجات الأخيرة، مما يسهل اتجاه التحديث.
في واد طويل وضيق، ما هي المشكلة التي يعاني منها SGD العادي والتي يساعد الزخم في حلها؟
بدون الزخم، يتأرجح SGD عبر الاتجاهات شديدة الانحدار للوادي. يلغي الزخم هذه التذبذبات ويتسارع على طول قاع الوادي اللطيف.
ما التشبيه الفيزيائي الذي يُستخدم غالبًا لوصف الزخم؟
يتم تشبيه الزخم بالكرة الثقيلة التي تزيد سرعتها في اتجاهات متسقة وتقاوم الانحراف عن المطبات الصاخبة.
ما مقدار الزخم تقريبًا الذي يضخم الخطوة الفعالة في اتجاه ثابت عندما تكون قيمة بيتا = 0.9؟
يبلغ عامل التضخيم حوالي 1/(1 - بيتا)، و1/(1 - 0.9) = 10، لذا يتم تسريع الاتجاهات المتسقة بمقدار عشرة أضعاف تقريبًا.
أي مُحسِّن حديث يشتمل على تقدير اللحظة الأولى بنمط الزخم؟
يجمع آدم بين تقدير اللحظة الأولى (المتوسط) الذي يشبه الزخم للتدرجات مع تقدير اللحظة الثانية (التباين) للقياس التكيفي.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع