नेस्टरोव त्वरित ढाल

It often converges faster and more stably than classical momentum.

शास्त्रीय संवेग वर्तमान स्थिति में ढाल की गणना करता है, फिर संचित वेग जोड़ता है। त्वरित उत्तल अनुकूलन पर यूरी नेस्टरोव के 1983 के काम से नेस्टरोव की अंतर्दृष्टि, सबसे पहले गति चरण को आगे की ओर देखने वाले बिंदु पर ले जाना और वहां ढाल का मूल्यांकन करना है। यह अनुकूलक को यह अनुमान लगाने देता है कि गति उसे कहां ले जा रही है और ओवरशूटिंग से पहले सुधार लागू करती है, जैसे एक धावक जो आगे एक वक्र देखता है और बाद के बजाय जल्दी समायोजित करता है। चिकनी उत्तल समस्याओं के लिए नेस्टरोव की विधि चरणों की संख्या में क्रम 1/k^2 की एक इष्टतम अभिसरण दर प्राप्त करती है, जो कि सादे ढाल वंश के 1/k पर एक सिद्ध सुधार है। गहन शिक्षण में इसे अधिकांश रूपरेखाओं में एक सरल विकल्प के रूप में पेश किया जाता है और अक्सर समान गुणांक पर मानक गति की तुलना में थोड़ा तेज, कम दोलन प्रशिक्षण प्राप्त होता है।