الدليل الفني
جدولة معدل التعلم
يغير جدول معدل التعلم حجم الخطوة أثناء التدريب بدلاً من تثبيته.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
Getting it right is often the single biggest lever for whether a model converges quickly and reaches high accuracy.
الغوص العميق
يتحكم معدل التعلم في حجم الخطوة التي يتخذها المُحسِّن في كل تحديث. عالية جدًا ويتباعد التدريب ؛ منخفض جدًا وسيزحف أو يتعثر. تقوم الجدولة بضبط هذه القيمة بمرور الوقت. إحدى الوصفات الحديثة الشائعة هي الإحماء الذي يتبعه الاضمحلال: ابدأ بالقرب من الصفر وقم بتكثيف الخطوات خلال بضع مئات أو آلاف الخطوات الأولى (في وقت مبكر جدًا، لا تؤدي التدرجات الصاخبة إلى تفجير الأوزان غير المستقرة)، ثم تنخفض تدريجيًا. تشمل أشكال الاضمحلال الشائعة الاضمحلال التدريجي (الهبوط بعامل في فترات محددة)، والانحلال الأسي، وتليين جيب التمام، الذي يتبع بسلاسة منحنى نصف جيب التمام وصولاً إلى ما يقرب من الصفر. أصبحت جداول جيب التمام مع التسخين الخطي الآن معيارًا لتدريب نماذج اللغات الكبيرة، في حين يمكن للسياسات الدورية والدورة الواحدة تسريع تدريب النماذج الأصغر.
التنفيذ في العالم الحقيقي
يتم استخدام عملية الاحماء الخطي بالإضافة إلى اضمحلال جيب التمام عند التدريب المسبق لنماذج لغة المحولات.
انحطاط الخطوة الذي يؤدي إلى انخفاض معدل التعلم بمقدار 10x في العصور 30 و60 و90 عند تدريب مصنفات الصور على ImageNet.
سياسة الدورة الواحدة في fast.ai لتدريب النموذج على الدقة الجيدة في عدد قليل جدًا من العصور.
الصلب جيب التمام مع عمليات إعادة التشغيل الدافئة للهروب بشكل دوري من الحد الأدنى من الخسارة الحادة وتحسين التعميم.
مستقبل جدولة معدل التعلم
نظرًا لأن عمليات التدريب أصبحت أكثر تكلفة، يتم تصميم الجداول الزمنية بشكل مشترك مع أدوات التحسين وأحجام الدفعات، ويدرس الباحثون قوانين القياس للتنبؤ بأفضل معدل ذروة قبل التدريب. تكتسب أدوات التحسين الخالية من الجداول الزمنية والتي تزيل الحاجة إلى اختيار منحنى الاضمحلال مسبقًا قوة جذب، كما أن الجداول الزمنية التكيفية المستندة إلى ردود الفعل والتي تستجيب لمنحنيات الخسارة المباشرة قد تقلل من أسلوب التجربة والخطأ الذي لا يزال يهيمن على التدريب واسع النطاق.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Learning Rate Scheduling quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Learning Rate Scheduling?
يغير جدول معدل التعلم حجم الخطوة أثناء التدريب بدلاً من تثبيته. غالبًا ما يكون تنفيذ الأمر بشكل صحيح هو الرافعة الأكبر التي تحدد ما إذا كان النموذج يتقارب بسرعة ويصل إلى دقة عالية.
ما هو الغرض من مرحلة "الإحماء" في جدول معدل التعلم؟
يبدأ الإحماء بالقرب من الصفر ويزيد المعدل بحيث لا تؤدي التحديثات المبكرة غير المستقرة إلى زعزعة استقرار النموذج قبل استقرار إحصائيات المُحسِّن.
أي جدول يتبع بسلاسة منحنى نصف جيب التمام وصولاً إلى المعدل الأدنى؟
يؤدي التلدين لجيب التمام إلى تدهور معدل التعلم على طول شكل نصف جيب التمام، مما يعطي خطوات كبيرة مبكرة وخطوات صغيرة بالقرب من النهاية.
ماذا يحدث إذا تم تحديد معدل التعلم مرتفعًا جدًا؟
يؤدي المعدل المرتفع بشكل مفرط إلى التجاوز، وبالتالي قد ترتد الخسارة أو تنفجر بدلاً من الاستقرار.
ماذا يفعل الاضمحلال التدريجي لمعدل التعلم؟
يؤدي تسوس الخطوة إلى ضرب المعدل بعامل (على سبيل المثال، 0.1) عند المعالم المحددة، مما يؤدي إلى إنشاء نمط سلم.
What does a warm restart do to a learning-rate schedule?
Warm restarts begin another learning-rate cycle at a higher value; they do not guarantee escape from a particular loss-landscape feature.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع