द्वितीय-क्रम अनुकूलन और न्यूटन विधियाँ प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. न्यूटन की विधि किस जानकारी का उपयोग करती है जबकि सादा ग्रेडिएंट डीसेंट नहीं करता है?
   • हेसियन मैट्रिक्स में दूसरे डेरिवेटिव के माध्यम से वक्रता
   • वैश्विक न्यूनतम का सटीक स्थान
   • सीखने की दर अनुसूची
   • प्रशिक्षण उदाहरणों की संख्या
2. पूर्णतः द्विघात उद्देश्य के लिए, न्यूटन की विधि को न्यूनतम तक पहुँचने के लिए कितने चरणों की आवश्यकता है?
   • बिल्कुल दस कदम
   • एक कदम
   • ग्रेडिएंट डिसेंट के समान संख्या
   • यह कभी एकत्रित नहीं होता
3. पूर्ण न्यूटन की विधि अरब-पैरामीटर तंत्रिका नेटवर्क के लिए अव्यावहारिक क्यों है?
   • ग्रेडिएंट की गणना नहीं की जा सकती
   • तंत्रिका नेटवर्क में दूसरा डेरिवेटिव हमेशा शून्य होता है
   • हेसियन एन-बाय-एन है, एन-स्क्वायर मेमोरी और एन-क्यूबड गणना को उलटने की लागत है
   • यह केवल छवियों पर काम करता है
4. हेसियन की लागत से बचने के लिए बीएफजीएस जैसी अर्ध-न्यूटन विधियां क्या करती हैं?
   • वे ढाल को पूरी तरह से नजरअंदाज कर देते हैं
   • वे बेतरतीब ढंग से वक्रता का अनुमान लगाते हैं
   • वे समस्या को रैखिक में बदल देते हैं
   • वे क्रमिक क्रमिक अंतरों से व्युत्क्रम हेसियन का एक अनुमान बनाते हैं
5. बीएफजीएस की तुलना में एल-बीएफजीएस मेमोरी को कैसे कम करता है?
   • यह पूर्ण मैट्रिक्स के बजाय केवल अंतिम कुछ ग्रेडिएंट और स्टेप वैक्टर को संग्रहीत करता है
   • यह केवल एकल-परिशुद्धता फ़्लोट्स का उपयोग करता है
   • यह प्रत्येक चरण के बाद ग्रेडिएंट को हटा देता है
   • यह कम मापदंडों पर प्रशिक्षण देता है
6. बड़े तंत्रिका नेटवर्क प्रशिक्षण को गति देने के लिए कौन सा आधुनिक दृष्टिकोण वक्रता का अनुमान लगाता है?
   • एक-हॉट एन्कोडिंग
   • K-FAC और शैम्पू जैसी क्रोनकर-फैक्टर विधियाँ
   • बिना किसी संशोधन के सादा स्टोकेस्टिक ग्रेडिएंट डिसेंट
   • ड्रॉपआउट
7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
   • The learning rate is reduced to zero before the update
   • The Hessian is ignored and only a fixed scalar step is used
   • The full Newton update uses the exact gradient and Hessian of that quadratic
   • The objective is first converted to a linear function
8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
   • It guarantees the global minimum in one step
   • It replaces the need to evaluate a gradient
   • It makes every Hessian positive definite
   • It approximates local curvature, so later iterations may be needed as the model changes