À suivreGuide suivant
Planification du taux d'apprentissage
Technique
GUIDE Technique
Q-Apprentissage
Q-Learning est un algorithme d'apprentissage par renforcement qui enseigne à un agent quelles actions sont les plus rentables en apprenant progressivement la valeur de chaque mouvement par essais et erreurs.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
It matters because it can find optimal behavior without ever being told the rules of its environment.
Plongée profonde
Q-Learning apprend une fonction appelée Q(s, a) : la récompense attendue à long terme de l'action « a » dans l'état « s », puis de l'action optimale par la suite. L'agent commence à ne rien savoir, essaie des actions et observe les récompenses. Après chaque étape, il oriente son estimation de la valeur Q vers la récompense qui vient d'être reçue plus la meilleure valeur future actualisée qu'il attend de l'état suivant. Fondamentalement, il est « hors politique » et « sans modèle » : il peut apprendre la meilleure politique tout en explorant au hasard, et il n’a jamais besoin d’un modèle sur la façon dont le monde évolue. Avec une exploration suffisante de chaque paire état-action, il est prouvé que les valeurs Q convergent vers les valeurs optimales, et la meilleure action dans n'importe quel état est simplement celle avec le Q le plus élevé.
Mise en œuvre dans le monde réel
Agents de jeu Atari (DQN de DeepMind) apprenant à jouer à Breakout et Pong directement à partir des pixels de l'écran
Optimiser le timing des feux de circulation aux intersections pour minimiser le temps d’attente total des véhicules
Navigation du robot à travers une grille ou un labyrinthe où le robot apprend le chemin le plus court pour maximiser la récompense
Décisions dynamiques de tarification et d'inventaire où un agent apprend quelles actions maximisent les profits à long terme
L'avenir du Q-Learning
Le Q-Learning tabulaire classique rencontre des difficultés lorsque les états sont trop nombreux pour être stockés dans un tableau. La tendance dominante est de le combiner avec des réseaux de neurones, comme dans les Deep Q-Networks (DQN), qui se rapprochent des valeurs Q à partir d'entrées brutes telles que les pixels. Les recherches se poursuivent pour stabiliser cela grâce à la répétition de l'expérience, aux réseaux cibles et à des variantes telles que le double DQN et le Q-Learning distributionnel qui réduisent les biais de surestimation et représentent des distributions de rendement complètes plutôt que des moyennes uniques.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Q-Learning quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is Q-Learning?
Q-Learning est un algorithme d'apprentissage par renforcement qui enseigne à un agent quelles actions sont les plus rentables en apprenant progressivement la valeur de chaque mouvement par essais et erreurs. C’est important car il peut trouver un comportement optimal sans jamais connaître les règles de son environnement.
Que représente la valeur Q Q(s, a) ?
Q(s, a) estime la récompense future totale actualisée résultant de l'action a dans l'état s et du comportement optimal par la suite, et pas seulement la récompense immédiate.
Pourquoi Q-Learning est-il décrit comme « hors politique » ?
Le maximum sur les actions suivantes signifie que Q-Learning apprend la valeur de la politique optimale gourmande même pendant que l'agent explore avec une politique de comportement différente.
Dans la règle de mise à jour, que contrôle le facteur d'actualisation gamma ?
Gamma (entre 0 et 1) réduit les récompenses futures ; les valeurs proches de 1 rendent l'agent hypermétrope, les valeurs proches de 0 le rendent myope.
Qu'est-ce que l'erreur de différence temporelle (TD) dans Q-Learning ?
L'erreur TD est l'écart entre la nouvelle estimation cible (récompense plus meilleure valeur future actualisée) et l'ancienne estimation Q ; la mise à jour réduit cet écart.
Pourquoi le Q-Learning tabulaire simple a-t-il du mal à résoudre de gros problèmes comme les jeux vidéo à partir de pixels ?
Une table de recherche nécessite une entrée par paire état-action, ce qui est irréalisable lorsque les états se comptent par milliards, motivant les approximateurs de réseaux neuronaux comme DQN.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet