À suivreGuide suivant
Optimisation de la politique relative du groupe
Technique
GUIDE Technique
Optimisation du second ordre et méthodes de Newton
L'optimisation du second ordre utilise les informations de courbure (la matrice hessienne des dérivées secondes) pour prendre des mesures plus intelligentes vers un minimum, et pas seulement vers la pente.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
It can converge in dramatically fewer iterations than plain gradient descent, but the cost of computing curvature makes it tricky to scale.
Plongée profonde
La descente de gradient ne connaît que la pente à votre point actuel, elle choisit donc une taille de pas fixe ou réglée manuellement et espère le meilleur. La méthode de Newton va plus loin : elle examine également l'évolution de la pente (la courbure), capturée par la Hesse, une matrice de toutes les dérivées partielles secondes. La mise à jour multiplie le Hessian inverse par le gradient, ce qui redimensionne automatiquement chaque direction et atterrit près du minimum d'une approximation quadratique locale. Pour un bol parfaitement quadratique, la méthode de Newton atteint le fond en une seule étape. Le problème est brutal : un modèle avec N paramètres a un Hessian N par N, donc son stockage et son inversion coûtent environ N carrés de mémoire et N cubes de calcul. Pour des réseaux comportant des milliards de paramètres, cela est impossible, c'est pourquoi les praticiens utilisent des approximations moins coûteuses.
Mise en œuvre dans le monde réel
L-BFGS ajuste la régression logistique et d'autres modèles convexes dans scikit-learn, où il bat souvent la simple descente de gradient sur des ensembles de données petits à moyens
Ajustement du bundle dans la reconstruction 3D et SLAM, où Gauss-Newton et Levenberg-Marquardt affinent les poses de caméra et les positions des points
Formation de minuscules réseaux de neurones basés sur la physique où L-BFGS atteint une précision qu'Adam a du mal à atteindre
Shampoo et K-FAC accélèrent la formation en apprentissage profond à grande échelle en se rapprochant de la structure de Hessian
L'avenir de l'optimisation du second ordre et des méthodes de Newton
Pour les réseaux de neurones géants, les méthodes complètes du second ordre restent peu pratiques, mais les approximations gagnent du terrain. Des optimiseurs tels que K-FAC et Shampoo approchent la courbure en utilisant une structure en diagonale de bloc ou en facteur de Kronecker, et des méthodes plus récentes telles que Sophia et Muon utilisent des estimations de courbure bon marché pour accélérer le pré-entraînement de grands modèles de langage. Attendez-vous à des efforts continus pour capturer un signal de courbure utile à un coût proche du premier ordre, réduisant ainsi l'écart entre les pas d'Adam et les véritables pas de Newton.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Second-Order Optimization and Newton Methods quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is Second-Order Optimization and Newton Methods?
L'optimisation du second ordre utilise les informations de courbure (la matrice hessienne des dérivées secondes) pour prendre des mesures plus intelligentes vers un minimum, et pas seulement vers la pente. Il peut converger en beaucoup moins d'itérations que la simple descente de gradient, mais le coût du calcul de la courbure rend son évolution difficile.
Quelles informations la méthode de Newton utilise-t-elle, contrairement à la descente de gradient simple ?
La méthode de Newton augmente le gradient avec la courbure du Hessian, lui permettant de redimensionner les directions et de se rapprocher du minimum quadratique local.
Pour un objectif parfaitement quadratique, de combien d'étapes la méthode de Newton a-t-elle besoin pour atteindre le minimum ?
Sur une quadratique exacte, le modèle quadratique local est égal à la vraie fonction, donc un pas de Newton saute directement au minimum.
Pourquoi la méthode complète de Newton n'est-elle pas pratique pour les réseaux neuronaux comportant des milliards de paramètres ?
Avec N paramètres, le Hessian a des entrées N au carré et son inversion évolue comme un N-cube, ce qui est irréalisable avec des milliards de paramètres.
Que font les méthodes quasi-Newton comme BFGS pour éviter le coût du Hessian ?
BFGS met à jour de manière itérative une estimation du Hessian inverse en utilisant les changements de gradient entre les étapes, évitant ainsi le calcul direct.
Comment le L-BFGS réduit-il la mémoire par rapport au BFGS ?
Le « L » signifie mémoire limitée : L-BFGS ne conserve qu'une poignée de vecteurs récents, réduisant le stockage de N au carré à environ un petit multiple de N.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet