Quiz sur l'optimisation du second ordre et les méthodes de Newton

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quelles informations la méthode de Newton utilise-t-elle, contrairement à la descente de gradient simple ?
   • Courbure, via les dérivées secondes dans la matrice hessienne
   • L'emplacement exact du minimum global
   • La grille tarifaire d’apprentissage
   • Le nombre d’exemples de formation
2. Pour un objectif parfaitement quadratique, de combien d'étapes la méthode de Newton a-t-elle besoin pour atteindre le minimum ?
   • Exactement dix étapes
   • Une étape
   • Le même nombre que la descente de pente
   • Il ne converge jamais
3. Pourquoi la méthode complète de Newton n'est-elle pas pratique pour les réseaux neuronaux comportant des milliards de paramètres ?
   • Le dégradé ne peut pas être calculé
   • Les dérivées secondes sont toujours nulles dans les réseaux de neurones
   • Le Hessian est N par N, ce qui coûte environ N carrés de mémoire et N calculs au cube pour inverser
   • Cela ne fonctionne que sur les images
4. Que font les méthodes quasi-Newton comme BFGS pour éviter le coût du Hessian ?
   • Ils ignorent complètement le dégradé
   • Ils devinent la courbure au hasard
   • Ils convertissent le problème en un problème linéaire
   • Ils construisent une approximation du Hessien inverse à partir des différences de gradient successives
5. Comment le L-BFGS réduit-il la mémoire par rapport au BFGS ?
   • Il stocke uniquement les derniers vecteurs de gradient et de pas au lieu de la matrice complète
   • Il utilise uniquement des flotteurs simple précision
   • Il supprime le dégradé après chaque étape
   • Il s'entraîne sur moins de paramètres
6. Quelle approche moderne se rapproche de la courbure pour accélérer la formation de grands réseaux neuronaux ?
   • Encodage à chaud
   • Méthodes factorisées par Kronecker comme K-FAC et Shampoo
   • Descente de gradient stochastique simple sans modifications
   • Abandon
7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
   • The learning rate is reduced to zero before the update
   • The Hessian is ignored and only a fixed scalar step is used
   • The full Newton update uses the exact gradient and Hessian of that quadratic
   • The objective is first converted to a linear function
8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
   • It guarantees the global minimum in one step
   • It replaces the need to evaluate a gradient
   • It makes every Hessian positive definite
   • It approximates local curvature, so later iterations may be needed as the model changes