نيستيروف التدرج المتسارع

It often converges faster and more stably than classical momentum.

يحسب الزخم الكلاسيكي التدرج في الموضع الحالي، ثم يضيف السرعة المتراكمة. تتمثل رؤية نيستيروف، المستمدة من عمل يوري نيستيروف عام 1983 حول التحسين المحدب المتسارع، في اتخاذ خطوة الزخم أولاً إلى نقطة النظر إلى الأمام وتقييم التدرج هناك. يتيح ذلك للمُحسِّن توقع المكان الذي يحمله الزخم وتطبيق التصحيح قبل التجاوز، مثل العداء الذي يرى منحنى للأمام ويقوم بتعديله مبكرًا وليس بعده. بالنسبة للمشكلات المحدبة الملساء، تحقق طريقة نيستيروف معدل تقارب مثالي من الدرجة 1/k^2 في عدد الخطوات، وهو تحسن يمكن إثباته على نزول التدرج العادي 1/k. في التعلم العميق يتم تقديمه كخيار بسيط في معظم الأطر، وكثيرًا ما ينتج تدريبًا أسرع قليلاً وأقل تذبذبًا من الزخم القياسي بنفس المعامل.