التاليالدليل التالي
تفريغ حالة المُحسِّن إلى وحدة المعالجة المركزية (CPU) وNVMe
التقنية
الدليل الفني
Lookahead و Lion Optimizers
يعد Lookahead وLion تطورين حديثين في مجال تحسين الشبكة العصبية.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
يقوم Lookahead بتغليف أي مُحسِّن أساسي بأوزان "بطيئة" و"سريعة" لتحقيق تقدم أكثر استقرارًا، بينما تم اكتشاف Lion (EvoLved Sign Momentum) من خلال بحث برنامج الذكاء الاصطناعي ويقوم بتحديث الأوزان باستخدام إشارة مصطلح الزخم فقط - مما يجعله خفيف الذاكرة وغالبًا ما يكون أسرع من Adam.
الغوص العميق
يقوم Lookahead، الذي اقترحه Zhang وHinton وزملاؤه في عام 2019، بتشغيل مُحسِّن قياسي "سريع" (مثل Adam أو SGD) لخطوات k، ثم يدفع مجموعة منفصلة من الأوزان "البطيئة" لجزء صغير من الطريق نحو المكان الذي تنتهي فيه الأوزان السريعة. هذا يخفف من التذبذبات ويقلل من الحساسية للمعلمات المفرطة. Lion، الذي نشرته Google في عام 2023، خرج من بحث البرنامج الرمزي عبر خوارزميات المُحسِّن. فهو يتتبع الزخم ولكنه يطبق وظيفة الإشارة على التحديث، بحيث تتحرك كل معلمة بحجم خطوة ثابت في اتجاه علامة التدرج المتراكمة. يخزن الأسد فقط حاجز الزخم (نصف حالة آدم، التي تحافظ على اثنين)، ويستخدم تناقصًا أكبر للوزن ومعدل تعلم أصغر، وقد طابق آدم أو تفوق عليه في نماذج الرؤية واللغة الكبيرة بينما يتدرب بشكل أسرع وأرخص.
التنفيذ في العالم الحقيقي
التفاف Adam مع Lookahead لتحقيق الاستقرار في تدريب المحولات وتقليل جهد ضبط المعلمة الفائقة.
استخدام Lion لتدريب نماذج الرؤية الكبيرة (مثل ViT) ذات ذاكرة محسّنة أقل من ذاكرة Adam.
التدريب المسبق على نماذج اللغة باستخدام Lion لتحقيق دقة قابلة للمقارنة بتكلفة حوسبة منخفضة.
الجمع بين Lookahead وSGD في وكلاء التعلم المعزز لتسهيل تحديثات السياسة المزعجة.
مستقبل محسنات Lookahead وLion
تم اعتماد Lion في العديد من الدورات التدريبية واسعة النطاق لأنه يقطع الذاكرة المُحسّنة ويمكنه تسريع التقارب، ويعرض اكتشافه بحثًا آليًا لخوارزمية "AI-designing-AI" كمصدر حقيقي للمكاسب العملية. توقع المزيد من أدوات التحسين المشتقة من البحث، والمخططات الهجينة التي تمزج الأوزان البطيئة على غرار Lookahead مع التحديثات المستندة إلى التوقيع، والاهتمام المتزايد بأدوات التحسين ذات الكفاءة في الذاكرة حيث تستمر أحجام النماذج في الضغط على ميزانيات ذاكرة وحدة معالجة الرسومات.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Lookahead and Lion Optimizers quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو Lookahead وLion Optimizers؟
يعد Lookahead وLion تطورين حديثين في مجال تحسين الشبكة العصبية. يقوم Lookahead بتغليف أي مُحسِّن أساسي بأوزان "بطيئة" و"سريعة" لتحقيق تقدم أكثر استقرارًا، بينما تم اكتشاف Lion (EvoLved Sign Momentum) من خلال بحث برنامج الذكاء الاصطناعي ويقوم بتحديث الأوزان باستخدام إشارة مصطلح الزخم فقط - مما يجعله خفيف الذاكرة وغالبًا ما يكون أسرع من Adam.
ما هي الخطوة الحسابية المحددة في تحديث الوزن الخاص بمُحسِّن Lion؟
يطبق الأسد دالة الإشارة على مصطلح الزخم المحرف، بحيث تتحرك كل معلمة بخطوة موحدة في اتجاه إشارة التدرج.
كيف يقوم Lookahead ببناء عملية التحسين الخاصة به؟
يقوم Lookahead بتشغيل مُحسِّن داخلي سريع لخطوات k، ثم يحرك الأوزان البطيئة جزءًا صغيرًا من الطريق نحو الأوزان السريعة ويعيد ضبطها.
كيف تم اكتشاف مُحسِّن Lion في الأصل؟
نشأ Lion (EvoLved Sign Momentum) من إجراء البحث عن البرامج الذي أدى إلى تطوير وتقييم برامج تحسين المرشحين.
بالمقارنة مع آدم، ما هي ميزة الذاكرة الرئيسية للأسد؟
يتتبع آدم اللحظات الأولى والثانية. يحتفظ Lion بمخزن مؤقت واحد فقط للزخم، مما يؤدي إلى خفض ذاكرة حالة المُحسِّن إلى النصف تقريبًا.
لماذا يتطلب الأسد عادة معدل تعلم أقل من آدم؟
نظرًا لأن وظيفة الإشارة تحدد حجم تحديث كل إحداثي، فإن الخطوة الفعالة تكون كبيرة، لذلك يتم استخدام معدل تعلم أصغر (وتناقص أكبر للوزن).
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع