الدليل الفني
آدم والمحسنون التكيفيون
آدم هو المحسن الأساسي لمعظم الشبكات العصبية الحديثة، حيث يقوم تلقائيًا بضبط معدل تعلم منفصل لكل معلمة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It matters because it makes training deep models faster and far less finicky than plain gradient descent.
الغوص العميق
آدم (تقدير لحظة التكيف)، الذي قدمه كينغما وبا في عام 2014، يجمع بين فكرتين. أولاً، الزخم: يحافظ على متوسط متدهور بشكل كبير للتدرجات السابقة (اللحظة الأولى) لذا تعمل التحديثات على بناء السرعة في اتجاهات متسقة. ثانيًا، القياس لكل معلمة: فهو يتتبع متوسط التدرجات المربعة (اللحظة الثانية) ويقسم كل خطوة على الجذر التربيعي لتلك القيمة، وبالتالي فإن المعلمات ذات التدرجات الكبيرة والمزعجة تتخذ خطوات أصغر، ونادرًا ما يتم تحديث المعلمات التي تتخذ خطوات أكبر. تعني هذه القدرة على التكيف أنه يمكنك غالبًا استخدام معدل تعلم واحد عبر شبكة كاملة. البديل، AdamW، يفصل تسوس الوزن عن تحديث التدرج وأصبح الإعداد الافتراضي لتدريب المحولات الكبيرة ونماذج اللغة.
التنفيذ في العالم الحقيقي
تدريب نماذج اللغات الكبيرة مثل GPT وLlama، والتي تستخدم AdamW كمُحسِّن قياسي.
الضبط الدقيق لمصنف صور تم تدريبه مسبقًا (على سبيل المثال، ResNet) على مجموعة بيانات مخصصة باستخدام معدل تعلم آدم الافتراضي فقط.
تدريب نماذج الانتشار خلف مولدات الصور مثل Stable Diffusion.
تشغيل Adam 8 بت في مكتبات مثل bitsandbytes لملاءمة حالات المُحسِّن في ذاكرة GPU المحدودة.
مستقبل آدم والمحسنين التكيفيين
يظل كل من Adam و AdamW مهيمنين، لكن الأبحاث تدفع بكفاءة النماذج ذات تريليون معلمة، حيث يكون تخزين قيمتين إضافيتين لكل وزن أمرًا مكلفًا. تهدف متغيرات الذاكرة الخفيفة مثل Adafactor و8-bit Adam والمحسنات الأحدث مثل Lion (الذي يستخدم الزخم القائم على الإشارة فقط) وSophia إلى مطابقة جودة Adam مع ذاكرة أقل أو تقارب أسرع. توقع أدوات تحسين قابلة للتكيف تم ضبطها خصيصًا للتدريب الموزع ومنخفض الدقة لمواصلة التطور.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Adam and Adaptive Optimizers quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Adam and Adaptive Optimizers?
آدم هو المحسن الأساسي لمعظم الشبكات العصبية الحديثة، حيث يقوم تلقائيًا بضبط معدل تعلم منفصل لكل معلمة. إنه أمر مهم لأنه يجعل تدريب النماذج العميقة أسرع وأقل صعوبة بكثير من تدريب النزول المتدرج البسيط.
ما الكميتين اللتين تتبعهما آدم لكل معلمة؟
يحتفظ آدم بمتوسط متدهور بشكل كبير للتدرجات (اللحظة الأولى) والتدرجات المربعة (اللحظة الثانية) لكل معلمة.
لماذا يطبق آدم تصحيح التحيز على تقديراته اللحظة؟
تمت تهيئة كل من m وv إلى الصفر، لذا فإن التقديرات المبكرة متحيزة إلى مستوى منخفض؛ القسمة على (1 - بيتا ^ t) تصحح هذا.
ما هو الفرق الرئيسي بين آدم وأدامو؟
يطبق AdamW تحلل الوزن مباشرة على الأوزان بدلاً من مزجه في مصطلح التدرج التكيفي، مما يحسن التعميم في المحولات.
ما الدور الذي يلعبه مصطلح إبسيلون الصغير في قاعدة تحديث آدم؟
تتم إضافة Epsilon (حوالي 1e-8) إلى المقام بحيث لا تتسبب المعلمات ذات متوسطات التدرج التربيعي القريبة من الصفر في حدوث انفجار.
لماذا يوصف آدم في كثير من الأحيان بأنه "متكيف"؟
من خلال القسمة على الجذر التربيعي لمتوسط التدرج التربيعي لكل معلمة، يقوم Adam بقياس حجم الخطوة لكل معلمة بدلاً من استخدام قيمة عامة واحدة.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع