آدم والمحسنون التكيفيون
آدم هو المحسن الأساسي لمعظم الشبكات العصبية الحديثة، حيث يقوم تلقائيًا بضبط معدل تعلم منفصل لكل معلمة.
نظرة عامة
It matters because it makes training deep models faster and far less finicky than plain gradient descent.
الغوص العميق
آدم (تقدير لحظة التكيف)، الذي قدمه كينغما وبا في عام 2014، يجمع بين فكرتين. أولاً، الزخم: يحافظ على متوسط متدهور بشكل كبير للتدرجات السابقة (اللحظة الأولى) لذا تعمل التحديثات على بناء السرعة في اتجاهات متسقة. ثانيًا، القياس لكل معلمة: فهو يتتبع متوسط التدرجات المربعة (اللحظة الثانية) ويقسم كل خطوة على الجذر التربيعي لتلك القيمة، وبالتالي فإن المعلمات ذات التدرجات الكبيرة والمزعجة تتخذ خطوات أصغر، ونادرًا ما يتم تحديث المعلمات التي تتخذ خطوات أكبر. تعني هذه القدرة على التكيف أنه يمكنك غالبًا استخدام معدل تعلم واحد عبر شبكة كاملة. البديل، AdamW، يفصل تسوس الوزن عن تحديث التدرج وأصبح الإعداد الافتراضي لتدريب المحولات الكبيرة ونماذج اللغة.
البصيرة الفنية
يحتفظ Adam بمتوسطين تشغيليين لكل معلمة: m (التدرجات) وv (التدرجات المربعة)، ويتم تحديثهما بمعدلات الانحلال beta1 (عادة 0.9) وbeta2 (عادة 0.999). ونظرًا لأن كلاهما يبدأ من الصفر، يتم تصحيح انحيازهما عن طريق القسمة على (1 - بيتا^t). التحديث هو theta = theta - lr * m_hat / (sqrt(v_hat) + epsilon)، حيث يمنع epsilon (حوالي 1e-8) القسمة على الصفر. ولهذا السبب يحتاج آدم إلى القليل من ضبط معدل التعلم مقارنة بـ SGD العادي.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل آدم والمحسنين التكيفيين
يظل كل من Adam و AdamW مهيمنين، لكن الأبحاث تدفع بكفاءة النماذج ذات تريليون معلمة، حيث يكون تخزين قيمتين إضافيتين لكل وزن أمرًا مكلفًا. تهدف متغيرات الذاكرة الخفيفة مثل Adafactor و8-bit Adam والمحسنات الأحدث مثل Lion (الذي يستخدم الزخم القائم على الإشارة فقط) وSophia إلى مطابقة جودة Adam مع ذاكرة أقل أو تقارب أسرع. توقع أدوات تحسين قابلة للتكيف تم ضبطها خصيصًا للتدريب الموزع ومنخفض الدقة لمواصلة التطور.
التنفيذ في العالم الحقيقي
تدريب نماذج اللغات الكبيرة مثل GPT وLlama، والتي تستخدم AdamW كمُحسِّن قياسي.
الضبط الدقيق لمصنف صور تم تدريبه مسبقًا (على سبيل المثال، ResNet) على مجموعة بيانات مخصصة باستخدام معدل تعلم آدم الافتراضي فقط.
تدريب نماذج الانتشار خلف مولدات الصور مثل Stable Diffusion.
تشغيل Adam 8 بت في مكتبات مثل bitsandbytes لملاءمة حالات المُحسِّن في ذاكرة GPU المحدودة.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Adam and Adaptive Optimizers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
Zero وSharded Optimizers
الأسئلة المتداولة
What is Adam and Adaptive Optimizers?
آدم هو المحسن الأساسي لمعظم الشبكات العصبية الحديثة، حيث يقوم تلقائيًا بضبط معدل تعلم منفصل لكل معلمة. إنه أمر مهم لأنه يجعل تدريب النماذج العميقة أسرع وأقل صعوبة بكثير من تدريب النزول المتدرج البسيط.
ما الكميتين اللتين تتبعهما آدم لكل معلمة؟
يحتفظ آدم بمتوسط متدهور بشكل كبير للتدرجات (اللحظة الأولى) والتدرجات المربعة (اللحظة الثانية) لكل معلمة.
لماذا يطبق آدم تصحيح التحيز على تقديراته اللحظة؟
تمت تهيئة كل من m وv إلى الصفر، لذا فإن التقديرات المبكرة متحيزة إلى مستوى منخفض؛ القسمة على (1 - بيتا ^ t) تصحح هذا.
ما هو الفرق الرئيسي بين آدم وأدامو؟
يطبق AdamW تحلل الوزن مباشرة على الأوزان بدلاً من مزجه في مصطلح التدرج التكيفي، مما يحسن التعميم في المحولات.
ما الدور الذي يلعبه مصطلح إبسيلون الصغير في قاعدة تحديث آدم؟
تتم إضافة Epsilon (حوالي 1e-8) إلى المقام بحيث لا تتسبب المعلمات ذات متوسطات التدرج التربيعي القريبة من الصفر في حدوث انفجار.
لماذا يوصف آدم في كثير من الأحيان بأنه "متكيف"؟
من خلال القسمة على الجذر التربيعي لمتوسط التدرج التربيعي لكل معلمة، يقوم Adam بقياس حجم الخطوة لكل معلمة بدلاً من استخدام قيمة عامة واحدة.