À suivreGuide suivant
Ajustement précis des armatures avec des niveleuses
Technique
GUIDE Technique
Réglage des hyperparamètres
Les hyperparamètres sont les paramètres que vous choisissez avant l'entraînement, comme le taux d'apprentissage ou la taille du modèle, que le modèle n'apprend pas tout seul.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Bien les régler fait souvent la différence entre un modèle médiocre et un excellent.
Plongée profonde
Les paramètres du modèle (les poids) sont appris à partir des données pendant la formation. Les hyperparamètres sont différents : ce sont les boutons que vous définissez au préalable et qui régissent la manière dont l'apprentissage se produit, tels que le taux d'apprentissage, la taille du lot, le nombre de couches, la force de régularisation et la durée d'entraînement. Ils ne peuvent pas être optimisés directement par descente de gradient, vous recherchez donc de bonnes valeurs en entraînant de nombreux modèles candidats et en les comparant sur un ensemble de validation. L'approche la plus simple est la recherche sur grille, en essayant chaque combinaison sur une grille prédéfinie, mais elle évolue terriblement. La recherche aléatoire trouve souvent les bons réglages plus rapidement en échantillonnant les combinaisons. Une optimisation bayésienne plus avancée construit un modèle probabiliste dont les paramètres semblent prometteurs et y concentre la recherche. Le taux d’apprentissage est généralement l’hyperparamètre le plus important à prendre en compte.
Mise en œuvre dans le monde réel
Analyser les taux d'apprentissage sur plusieurs ordres de grandeur pour trouver la valeur là où un réseau s'entraîne rapidement sans diverger.
Utilisation de la recherche aléatoire pour régler la profondeur des arbres, le nombre d'arbres et le taux d'apprentissage pour un modèle d'amélioration du gradient sur des données tabulaires.
Exécution d'une optimisation bayésienne pour ajuster conjointement la force de régularisation et la taille des lots pour un réseau approfondi avec un budget GPU limité.
Appliquer Hyperband pour entraîner brièvement des dizaines de configurations, puis donner plus d'époques uniquement aux survivants les plus prometteurs.
L'avenir du réglage des hyperparamètres
Le réglage manuel et basé sur une grille cède la place à l'apprentissage automatique automatisé (AutoML) et à une recherche plus intelligente telle que l'optimisation bayésienne et Hyperband, qui utilisent le calcul beaucoup plus efficacement. À mesure que les modèles de base se développent, le recyclage complet par essai devient d'un coût prohibitif, de sorte que l'attention se tourne vers des proxys moins chers, des lois de mise à l'échelle qui prédisent de bons paramètres à partir de petites séries et le réglage d'adaptateurs légers au lieu de modèles complets. Attendez-vous à ce que le réglage devienne de plus en plus automatisé et respectueux du budget, avec des outils qui échangent explicitement le coût de la recherche contre les gains attendus.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Hyperparameter Tuning quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que le réglage des hyperparamètres ?
Les hyperparamètres sont les paramètres que vous choisissez avant l'entraînement, comme le taux d'apprentissage ou la taille du modèle, que le modèle n'apprend pas tout seul. Bien les régler fait souvent la différence entre un modèle médiocre et un excellent.
Qu'est-ce qui distingue un hyperparamètre d'un paramètre de modèle classique ?
Les poids (paramètres) sont appris à partir des données pendant la formation. Les hyperparamètres, comme le taux d'apprentissage ou le nombre de couches, sont choisis à l'avance et contrôlent le déroulement de la formation.
Quel est généralement considéré comme l’hyperparamètre le plus impactant à intégrer dans l’apprentissage profond ?
Le taux d'apprentissage affecte fortement si et à quelle vitesse un modèle converge. Trop élevé et la formation diverge ; trop bas et il rampe ou reste bloqué.
Pourquoi la recherche aléatoire surpasse-t-elle souvent la recherche sur grille pour le réglage des hyperparamètres ?
La recherche par grille gaspille des essais sur des dimensions sans importance. La recherche aléatoire explore l'espace plus efficacement et atteint souvent de bonnes configurations avec moins d'essais.
Comment l'optimisation bayésienne choisit-elle la configuration d'hyperparamètres à essayer ensuite ?
L'optimisation bayésienne modélise la relation entre les configurations et les scores de validation, puis sélectionne l'essai suivant pour équilibrer l'exploration des régions incertaines et l'exploitation des régions prometteuses.
Pourquoi l’ensemble de test final doit-il rester intact pendant le réglage des hyperparamètres ?
Le réglage choisit les paramètres qui conviennent le mieux aux données que vous évaluez. S'il s'agit de l'ensemble de test, vos performances signalées sont gonflées. Le réglage utilise à la place un ensemble de validation distinct.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet