GUIDE Technique
Points de contrôle de dégradé
Le point de contrôle de gradient (également appelé point de contrôle d'activation) est une astuce permettant d'économiser de la mémoire qui supprime la plupart des activations intermédiaires lors de la passe avant et les recalcule à la volée lors de la rétropropagation.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Il vous permet d'entraîner des réseaux plus profonds et plus vastes en échangeant des calculs supplémentaires contre une utilisation de mémoire beaucoup plus faible.
Plongée profonde
Training normally retains intermediate activations needed for backpropagation. Activation checkpointing saves selected boundary tensors and recomputes internal activations during backward. This trades additional computation for a lower activation-memory footprint; the actual savings and runtime overhead depend on checkpoint placement, operations, model graph, and hardware. In a simplified chain of N similarly sized layers, a textbook schedule with checkpoint boundaries spaced about sqrt(N) layers apart can reduce activation storage to order sqrt(N) checkpoints, with recomputation cost governed by that schedule. This asymptotic example is not a universal prediction for framework implementations. PyTorch exposes activation-checkpointing utilities, and its current guidance also describes selective rematerialization and compiler-assisted choices. It can combine with FSDP and mixed precision, but benchmark the full training workload.
Mise en œuvre dans le monde réel
Entraînez un transformateur profond avec une taille de lot plus grande sur un seul GPU en supprimant et en recalculant les activations de couche.
Affiner les modèles de vision sur des images haute résolution où les cartes d'activation risqueraient autrement de déborder de la mémoire GPU.
Hugging Face Transformers permettant à gradient_checkpointing=True de s'adapter à des modèles comportant des milliards de paramètres lors du réglage fin.
Combiner les points de contrôle avec FSDP afin que les paramètres et les activations restent petits, permettant la formation de très grands modèles de langage.
L'avenir du point de contrôle de dégradé
Les points de contrôle de dégradé sont désormais standard dans la formation de grands modèles et sont de plus en plus automatisés, les bibliothèques sélectionnant les emplacements de points de contrôle optimaux pour vous. Il s'associe naturellement au FSDP, à la précision mixte et au déchargement pour augmenter la taille des modèles. Attendez-vous à des points de contrôle « sélectifs » qui recalculent uniquement les opérations bon marché tout en gardant en cache les opérations coûteuses (comme les matrices d'attention), ainsi qu'à des approches pilotées par le compilateur dans des outils comme torch.compile de PyTorch qui décident automatiquement de ce qu'il faut enregistrer ou recalculer pour le meilleur équilibre vitesse-mémoire.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Gradient Checkpointing quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que le point de contrôle de dégradé ?
Le point de contrôle de gradient (également appelé point de contrôle d'activation) est une astuce permettant d'économiser de la mémoire qui supprime la plupart des activations intermédiaires lors de la passe avant et les recalcule à la volée lors de la rétropropagation. Il vous permet d'entraîner des réseaux plus profonds et plus vastes en échangeant des calculs supplémentaires contre une utilisation de mémoire beaucoup plus faible.
Qu'est-ce que les points de contrôle de gradient échangent principalement pour économiser de la mémoire ?
Le point de contrôle de gradient recalcule les activations rejetées lors de la passe arrière, dépensant ainsi des calculs supplémentaires en échange d'une mémoire considérablement réduite.
Pourquoi les activations sont-elles normalement stockées pendant la passe avant ?
Backprop calcule les gradients en utilisant les activations intermédiaires de la passe avant, elles doivent donc être disponibles à moins qu'elles ne soient recalculées.
In a simplified chain of N similarly sized layers, what can checkpoint boundaries spaced about sqrt(N) layers apart achieve in the textbook schedule?
The square-root schedule is a theoretical result for a simplified sequential computation graph, not a universal implementation guarantee.
What most determines gradient-checkpointing runtime overhead in a practical model?
Recomputation overhead varies with checkpoint policy and the cost of operations selected for recomputation.
Dans PyTorch, quel utilitaire est couramment utilisé pour appliquer des points de contrôle de dégradé à un module ?
torch.utils.checkpoint encapsule un module afin que ses activations internes soient recalculées lors du retour au lieu d'être stockées.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet