À suivreGuide suivant
Apprentissage par renforcement hors ligne
Technique
GUIDE Technique
Apprentissage par imitation
L'apprentissage par imitation apprend à une IA à effectuer une tâche en copiant des démonstrations d'experts au lieu d'apprendre à partir de récompenses par essais et erreurs.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
C’est important car pour de nombreuses tâches réelles – conduite, chirurgie, manipulation – il est bien plus facile de faire preuve d’un bon comportement que d’écrire une fonction de récompense.
Plongée profonde
L'apprentissage par imitation forme une politique à partir d'exemples enregistrés d'un expert agissant dans un environnement, généralement des paires d'observations et des actions entreprises par l'expert. La forme la plus simple, le clonage comportemental, traite cela comme un simple apprentissage supervisé : prédire l'action de l'expert en fonction de l'état. C'est attrayant lorsque les récompenses sont difficiles à préciser, mais que les démonstrations sont nombreuses, comme dans le cas des voitures autonomes entraînées sur des rapports de conduite humains ou des robots enseignés par téléopération. La faiblesse classique est le changement de distribution, ou erreur cumulée : de minuscules erreurs de prédiction poussent l’agent dans des états que l’expert n’a jamais visités, où il n’a aucune orientation et s’écarte encore plus de sa trajectoire. Des méthodes telles que DAgger résolvent ce problème en interrogeant à plusieurs reprises l'expert sur les états réellement atteints par l'apprenant.
Mise en œuvre dans le monde réel
Modèles de perception et de conduite de voitures autonomes formés à la conduite humaine enregistrée
Des bras robotisés apprennent à plier le linge ou à empiler des objets grâce à des démonstrations téléopérées
Agents de jeu démarrés à partir de rediffusions humaines enregistrées avant d'être peaufinés avec RL
Robots chirurgicaux et d'assistance apprenant les mouvements à partir de démonstrations d'opérateurs experts
L’avenir de l’apprentissage par imitation
L'apprentissage par imitation est au cœur de l'essor des modèles de base robotiques, dans lesquels une politique unique est formée sur d'énormes ensembles de données de téléopération multitâches et affinée pour de nouvelles compétences. Attendez-vous à une fusion plus étroite avec le langage et la vision afin que les robots imitent des vidéos ou des instructions, ainsi qu'à des hybrides qui s'amorcent par clonage puis s'affinent via un apprentissage par renforcement. La mise à l'échelle de la collecte de démonstration à moindre coût, grâce à la simulation et aux données sur le jeu humain en mode participatif, reste le principal goulot d'étranglement et la frontière active.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Imitation Learning quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que l’apprentissage par imitation ?
L'apprentissage par imitation apprend à une IA à effectuer une tâche en copiant des démonstrations d'experts au lieu d'apprendre à partir de récompenses par essais et erreurs. C’est important car pour de nombreuses tâches réelles – conduite, chirurgie, manipulation – il est bien plus facile de faire preuve d’un bon comportement que d’écrire une fonction de récompense.
Dans l’apprentissage par imitation, comment un agent acquiert-il son comportement ?
L'apprentissage par imitation entraîne un agent à reproduire le comportement montré lors de démonstrations d'experts plutôt que de découvrir un comportement par des essais et des erreurs axés sur la récompense.
Le clonage comportemental définit l'apprentissage par imitation comme quel type de problème ?
Le clonage comportemental traite les démonstrations comme des données étiquetées et apprend à prédire l'action de l'expert pour chaque état observé, exactement comme l'apprentissage supervisé.
Quel problème provoque l’échec du clonage comportemental après de longues séquences d’actions ?
De petites erreurs d’action poussent l’agent dans des états que l’expert n’a jamais démontré ; sans guidage, les erreurs s'accumulent et l'agent s'éloigne encore plus de la trajectoire de l'expert.
Comment l’algorithme DAgger résout-il cette faiblesse ?
DAgger déploie la politique actuelle, attribue l'étiquette expert aux États nouvellement visités et se recycle sur l'ensemble de données agrégées afin que les données de formation correspondent à la propre distribution des États de l'apprenant.
Pourquoi l’apprentissage par imitation est-il souvent préféré à l’apprentissage par renforcement pour des tâches comme la conduite automobile ?
Pour des tâches complexes du monde réel, rédiger une récompense qui capture un bon comportement est difficile, tandis que montrer des exemples de bon comportement (journaux de conduite humaine) est relativement facile.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet