द्वितीय-क्रम अनुकूलन और न्यूटन विधियाँ

दूसरे क्रम का अनुकूलन केवल ढलान ही नहीं, बल्कि न्यूनतम की ओर बेहतर कदम उठाने के लिए वक्रता जानकारी (दूसरे डेरिवेटिव का हेसियन मैट्रिक्स) का उपयोग करता है। यह सादे ग्रेडिएंट डिसेंट की तुलना में नाटकीय रूप से कम पुनरावृत्तियों में परिवर्तित हो सकता है, लेकिन वक्रता की गणना करने की लागत इसे स्केल करना मुश्किल बना देती है।

न्यूटन की विधि हेसियन से वक्रता के साथ ढाल को बढ़ाती है, जिससे यह दिशाओं को फिर से मापती है और स्थानीय द्विघात न्यूनतम का अनुमान लगाती है।

एक सटीक द्विघात पर, स्थानीय द्विघात मॉडल वास्तविक कार्य के बराबर होता है, इसलिए एक न्यूटन कदम सीधे न्यूनतम पर पहुंच जाता है।

एन मापदंडों के साथ हेस्सियन में एन-स्क्वायर प्रविष्टियाँ हैं और इसे एन-क्यूब्ड की तरह स्केल में उलटा किया गया है, जो अरबों मापदंडों पर संभव नहीं है।

बीएफजीएस प्रत्यक्ष गणना से बचते हुए, चरणों के बीच ढाल में परिवर्तन का उपयोग करके व्युत्क्रम हेसियन के अनुमान को अद्यतन करता है।

'एल' का मतलब सीमित-मेमोरी है: एल-बीएफजीएस हाल के कुछ वैक्टर रखता है, भंडारण को एन-वर्ग से घटाकर लगभग एन के एक छोटे से गुणक तक कर देता है।