সেকেন্ড-অর্ডার অপ্টিমাইজেশান এবং নিউটন মেথডস কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. নিউটনের পদ্ধতিতে কোন তথ্য ব্যবহার করা হয় যেটি প্লেইন গ্রেডিয়েন্ট ডিসেন্ট করে না?
   • বক্রতা, হেসিয়ান ম্যাট্রিক্সের দ্বিতীয় ডেরিভেটিভের মাধ্যমে
   • বিশ্বব্যাপী ন্যূনতম সঠিক অবস্থান
   • শেখার হার সময়সূচী
   • প্রশিক্ষণ উদাহরণ সংখ্যা
2. নিখুঁতভাবে চতুর্মুখী উদ্দেশ্যের জন্য, নিউটনের পদ্ধতিটি সর্বনিম্ন পর্যায়ে পৌঁছানোর জন্য কতটি ধাপ প্রয়োজন?
   • ঠিক দশ ধাপ
   • এক ধাপ
   • গ্রেডিয়েন্ট ডিসেন্ট হিসাবে একই সংখ্যা
   • এটা কখনো একত্রিত হয় না
3. বিলিয়ন-প্যারামিটার নিউরাল নেটওয়ার্কের জন্য পূর্ণ নিউটনের পদ্ধতি কেন অবাস্তব?
   • গ্রেডিয়েন্ট গণনা করা যাবে না
   • দ্বিতীয় ডেরিভেটিভ সবসময় নিউরাল নেটওয়ার্কে শূন্য
   • হেসিয়ান হল এন-বাই-এন, এন-স্কয়ার মেমরি এবং এন-কিউবড কম্পিউটকে উল্টাতে খরচ হয়
   • এটা শুধুমাত্র ইমেজ উপর কাজ করে
4. হেসিয়ানের খরচ এড়াতে বিএফজিএসের মতো আধা-নিউটন পদ্ধতিগুলি কী করে?
   • তারা গ্রেডিয়েন্টকে সম্পূর্ণরূপে উপেক্ষা করে
   • তারা এলোমেলোভাবে বক্রতা অনুমান
   • তারা সমস্যাটিকে একটি লিনিয়ারে রূপান্তর করে
   • তারা ক্রমাগত গ্রেডিয়েন্ট পার্থক্য থেকে বিপরীত হেসিয়ানের একটি অনুমান তৈরি করে
5. কিভাবে L-BFGS BFGS এর তুলনায় মেমরি হ্রাস করে?
   • এটি সম্পূর্ণ ম্যাট্রিক্সের পরিবর্তে শুধুমাত্র শেষ কয়েকটি গ্রেডিয়েন্ট এবং স্টেপ ভেক্টর সঞ্চয় করে
   • এটি শুধুমাত্র একক-নির্ভুলতা ফ্লোট ব্যবহার করে
   • এটি প্রতিটি ধাপের পরে গ্রেডিয়েন্ট বাতিল করে
   • এটি কম প্যারামিটারে প্রশিক্ষণ দেয়
6. বৃহৎ নিউরাল নেটওয়ার্ক প্রশিক্ষণের গতি বাড়াতে কোন আধুনিক পদ্ধতি বক্রতাকে আনুমানিক করে?
   • এক-গরম এনকোডিং
   • K-FAC এবং শ্যাম্পুর মতো ক্রোনেকার-ফ্যাক্টরযুক্ত পদ্ধতি
   • কোনো পরিবর্তন ছাড়াই প্লেইন স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট
   • ড্রপআউট
7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
   • The learning rate is reduced to zero before the update
   • The Hessian is ignored and only a fixed scalar step is used
   • The full Newton update uses the exact gradient and Hessian of that quadratic
   • The objective is first converted to a linear function
8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
   • It guarantees the global minimum in one step
   • It replaces the need to evaluate a gradient
   • It makes every Hessian positive definite
   • It approximates local curvature, so later iterations may be needed as the model changes