الدليل الفني
معدلات التعلم الدورية
تقوم معدلات التعلم الدورية بشكل متكرر بتدوير معدل التعلم لأعلى ولأسفل بين الحد الأدنى والأعلى بدلاً من تدهوره فقط.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
يمكن أن يؤدي هذا الارتداد غير البديهي إلى تسريع التقارب ومساعدة المحسن على الهروب من نقاط الحد الأدنى المحلية الحادة ونقاط السرج.
الغوص العميق
تتحدى معدلات التعلم الدورية (CLR)، التي اقترحها ليزلي سميث في عام 2015، الافتراض القائل بأن المعدل يجب أن ينخفض باستمرار. وبدلاً من ذلك، فهو يتأرجح بين الحد الأدنى والحد الأقصى عبر عدد ثابت من التكرارات ('الدورة')، وغالبًا ما يكون على شكل مثلث. الحدس: رفع المعدل بشكل دوري يوفر دفعة من الطاقة التي تسمح للنموذج بالقفز من الحدود الدنيا الفقيرة والحادة واجتياز نقاط السرج، في حين أن المراحل المنخفضة تسمح له بالاستقرار. قدم سميث أيضًا "اختبار نطاق LR" - وهو اختبار قصير المدى يدفع السعر إلى الأعلى أثناء مراقبة الخسارة - للعثور على الحدود الجيدة تلقائيًا. إن السياسات الثلاثية، والمثلثية مع الاضمحلال، وسياسة الدورة الواحدة الشهيرة كلها مبنية على هذه الفكرة.
التنفيذ في العالم الحقيقي
قام fast.ai بتعميم سياسة الدورة الواحدة كسياسة افتراضية لتدريب مصنفات الصور بسرعة على الدقة العالية في فترات قليلة.
يقوم اختبار نطاق LR بمسح المعدل لأعلى على مدى بضع مئات من الدفعات لاختيار الحدود الدنيا والقصوى قبل التشغيل الحقيقي.
تعمل مجموعة اللقطات على حفظ نقطة تفتيش نموذجية في نهاية كل دورة، مما يؤدي إلى إنتاج مجموعة مجانية من جولة تدريبية واحدة.
يقوم الانحدار التدرج العشوائي مع عمليات إعادة التشغيل الدافئة (SGDR) بإعادة تعيين المعدل بشكل دوري إلى قيمة عالية للهروب من الحد الأدنى الحاد.
مستقبل معدلات التعلم الدورية
تظل الجداول الدورية وسياسة الدورة الواحدة شائعة للتدريب السريع على الرؤية والمهام الجدولية، ويعتبر اختبار نطاق LR بمثابة خدعة ضبط قياسية. بالنسبة لنماذج اللغة الكبيرة جدًا، تميل جداول الإحماء بالإضافة إلى جيب التمام إلى الهيمنة، لكن الرؤية الأساسية - أن الزيادات الإستراتيجية تساعد على الهروب من المناطق السيئة في مشهد الخسارة - تُعلم عمليات إعادة التشغيل الدافئة (SGDR) وطرق التجميع التي تلتقط النماذج عند أدنى نقطة في كل دورة. توقع استمرار التلقيح المتبادل بين الأفكار الدورية وبرامج الجدولة التكيفية ذاتية الضبط.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Cyclical Learning Rates quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هي معدلات التعلم الدورية؟
تقوم معدلات التعلم الدورية بشكل متكرر بتدوير معدل التعلم لأعلى ولأسفل بين الحد الأدنى والأعلى بدلاً من تدهوره فقط. يمكن أن يؤدي هذا الارتداد غير البديهي إلى تسريع التقارب ومساعدة المحسن على الهروب من نقاط الحد الأدنى المحلية الحادة ونقاط السرج.
ما هو الافتراض الأساسي الذي تتحدىه معدلات التعلم الدورية؟
ويعمل سعر الفائدة على رفع سعر الفائدة عمداً مراراً وتكراراً، رافضاً وجهة النظر التقليدية القائلة بأن سعر الفائدة يجب أن يتراجع بشكل رتيب فقط.
What did Smith report for cyclical learning rates on tested classification tasks?
Smith reported improved classification accuracy without tuning and often in fewer iterations on the tested datasets; the paper does not guarantee a specific loss-landscape escape mechanism.
ماذا يفعل "اختبار نطاق LR"؟
يتم تشغيله لفترة وجيزة بمعدل ارتفاع مطرد. يكشف منحنى الخسارة عن الحد الأدنى والحد الأقصى المعقول لاستخدامهما في الدورات.
في سياسة الدورة الواحدة، كيف يتصرف الزخم عادة بالنسبة إلى معدل التعلم؟
تعمل سياسة الدورة الواحدة على تقليل الزخم عندما يصل السعر إلى ذروته، وترفعه مع انخفاض السعر، مما يضيف تأثيرًا تنظيميًا.
During a triangular cyclical learning-rate cycle, how does the rate move between its bounds?
A triangular policy increases the rate during one half-cycle and decreases it during the other half.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع