اختبار مرتبط بالدليل · صعب المستوى
اختبار التحسين من الدرجة الثانية وأساليب نيوتن
يختبر كيف تغير الانحناء خطوة التحسين، ما الذي تخزنه طرق نيوتن شبه، ومتى يعتمد سلوك نيوتن الدقيق على هدف رباعي الحدود.
سؤال 1 من 8
ما هي المعلومات التي تستخدمها طريقة نيوتن ولا تستخدمها طريقة الانحدار التدرجي البسيط؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما هي المعلومات التي تستخدمها طريقة نيوتن ولا تستخدمها طريقة الانحدار التدرجي البسيط؟
- الانحناء عبر المشتقات الثانية في مصفوفة هسه
- الموقع الدقيق للحد الأدنى العالمي
- جدول معدل التعلم
- عدد الأمثلة التدريبية
- للحصول على هدف تربيعي كامل، ما عدد الخطوات التي تحتاجها طريقة نيوتن للوصول إلى الحد الأدنى؟
- عشر خطوات بالضبط
- خطوة واحدة
- نفس عدد النسب التدرج
- انها لا تتقارب أبدا
- لماذا تعتبر طريقة نيوتن الكاملة غير عملية بالنسبة للشبكات العصبية ذات المليارات من المعلمات؟
- لا يمكن حساب التدرج
- المشتقات الثانية تكون دائمًا صفرًا في الشبكات العصبية
- إن Hessian هو N-by-N، ويكلف حوالي N-squared Memory وحساب N-cubed لعكسه
- إنه يعمل فقط على الصور
- ما الذي تفعله الأساليب شبه نيوتن مثل BFGS لتجنب تكلفة هسه؟
- يتجاهلون التدرج تماما
- إنهم يخمنون الانحناء بشكل عشوائي
- إنهم يحولون المشكلة إلى مشكلة خطية
- لقد بنوا تقريبًا لعكس هسه من اختلافات التدرج المتعاقبة
- كيف يقلل L-BFGS الذاكرة مقارنة بـ BFGS؟
- يقوم بتخزين التدرج الأخير ومتجهات الخطوة فقط بدلاً من المصفوفة الكاملة
- يستخدم العوامات ذات الدقة الواحدة فقط
- يتجاهل التدرج بعد كل خطوة
- يتدرب على عدد أقل من المعلمات
- ما هو النهج الحديث الذي يقترب من الانحناء لتسريع تدريب الشبكات العصبية الكبيرة؟
- ترميز واحد ساخن
- أساليب كرونيكر مثل K-FAC والشامبو
- نزول متدرج عشوائي عادي بدون أي تعديلات
- التسرب
- On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
- The learning rate is reduced to zero before the update
- The Hessian is ignored and only a fixed scalar step is used
- The full Newton update uses the exact gradient and Hessian of that quadratic
- The objective is first converted to a linear function
- A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
- It guarantees the global minimum in one step
- It replaces the need to evaluate a gradient
- It makes every Hessian positive definite
- It approximates local curvature, so later iterations may be needed as the model changes