الدليل الفني
جدولة معدل التعلم
يغير جدول معدل التعلم حجم الخطوة أثناء التدريب بدلاً من تثبيته.
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
Getting it right is often the single biggest lever for whether a model converges quickly and reaches high accuracy.
الغوص العميق
يتحكم معدل التعلم في حجم الخطوة التي يتخذها المُحسِّن في كل تحديث. عالية جدًا ويتباعد التدريب ؛ منخفض جدًا وسيزحف أو يتعثر. تقوم الجدولة بضبط هذه القيمة بمرور الوقت. إحدى الوصفات الحديثة الشائعة هي الإحماء الذي يتبعه الاضمحلال: ابدأ بالقرب من الصفر وقم بتكثيف الخطوات خلال بضع مئات أو آلاف الخطوات الأولى (في وقت مبكر جدًا، لا تؤدي التدرجات الصاخبة إلى تفجير الأوزان غير المستقرة)، ثم تنخفض تدريجيًا. تشمل أشكال الاضمحلال الشائعة الاضمحلال التدريجي (الهبوط بعامل في فترات محددة)، والانحلال الأسي، وتليين جيب التمام، الذي يتبع بسلاسة منحنى نصف جيب التمام وصولاً إلى ما يقرب من الصفر. أصبحت جداول جيب التمام مع التسخين الخطي الآن معيارًا لتدريب نماذج اللغات الكبيرة، في حين يمكن للسياسات الدورية والدورة الواحدة تسريع تدريب النماذج الأصغر.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل جدولة معدل التعلم
نظرًا لأن عمليات التدريب أصبحت أكثر تكلفة، يتم تصميم الجداول الزمنية بشكل مشترك مع أدوات التحسين وأحجام الدفعات، ويدرس الباحثون قوانين القياس للتنبؤ بأفضل معدل ذروة قبل التدريب. تكتسب أدوات التحسين الخالية من الجداول الزمنية والتي تزيل الحاجة إلى اختيار منحنى الاضمحلال مسبقًا قوة جذب، كما أن الجداول الزمنية التكيفية المستندة إلى ردود الفعل والتي تستجيب لمنحنيات الخسارة المباشرة قد تقلل من أسلوب التجربة والخطأ الذي لا يزال يهيمن على التدريب واسع النطاق.
التنفيذ في العالم الحقيقي
يتم استخدام عملية الاحماء الخطي بالإضافة إلى اضمحلال جيب التمام عند التدريب المسبق لنماذج لغة المحولات.
انحطاط الخطوة الذي يؤدي إلى انخفاض معدل التعلم بمقدار 10x في العصور 30 و60 و90 عند تدريب مصنفات الصور على ImageNet.
سياسة الدورة الواحدة في fast.ai لتدريب النموذج على الدقة الجيدة في عدد قليل جدًا من العصور.
الصلب جيب التمام مع عمليات إعادة التشغيل الدافئة للهروب بشكل دوري من الحد الأدنى من الخسارة الحادة وتحسين التعميم.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Learning Rate Scheduling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الأسئلة المتداولة
What is Learning Rate Scheduling?
يغير جدول معدل التعلم حجم الخطوة أثناء التدريب بدلاً من تثبيته. غالبًا ما يكون تنفيذ الأمر بشكل صحيح هو الرافعة الأكبر التي تحدد ما إذا كان النموذج يتقارب بسرعة ويصل إلى دقة عالية.
ما هو الغرض من مرحلة "الإحماء" في جدول معدل التعلم؟
يبدأ الإحماء بالقرب من الصفر ويزيد المعدل بحيث لا تؤدي التحديثات المبكرة غير المستقرة إلى زعزعة استقرار النموذج قبل استقرار إحصائيات المُحسِّن.
أي جدول يتبع بسلاسة منحنى نصف جيب التمام وصولاً إلى المعدل الأدنى؟
يؤدي التلدين لجيب التمام إلى تدهور معدل التعلم على طول شكل نصف جيب التمام، مما يعطي خطوات كبيرة مبكرة وخطوات صغيرة بالقرب من النهاية.
ماذا يحدث إذا تم تحديد معدل التعلم مرتفعًا جدًا؟
يؤدي المعدل المرتفع بشكل مفرط إلى التجاوز، وبالتالي قد ترتد الخسارة أو تنفجر بدلاً من الاستقرار.
ماذا يفعل الاضمحلال التدريجي لمعدل التعلم؟
يؤدي تسوس الخطوة إلى ضرب المعدل بعامل (على سبيل المثال، 0.1) عند المعالم المحددة، مما يؤدي إلى إنشاء نمط سلم.
What does a warm restart do to a learning-rate schedule?
Warm restarts begin another learning-rate cycle at a higher value; they do not guarantee escape from a particular loss-landscape feature.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع