À suivreGuide suivant
Alignement monotone Glow-TTS
IA audio
GUIDE DE LA SOCIÉTÉ
Alignement de l'IA
L’alignement de l’IA est le projet technique et institutionnel visant à faire en sorte que les systèmes d’IA avancés accomplissent de manière fiable ce que les humains souhaitent – y compris dans des situations nouvelles et à enjeux élevés où le système est plus intelligent, plus rapide ou plus autonome que ses opérateurs.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Plongée profonde
L’alignement n’est pas la même chose que « l’éthique de l’IA » au sens large. L'éthique s'interroge sur les valeurs qu'une société devrait poursuivre ; L’alignement se demande si un système d’IA puissant poursuivra réellement les objectifs que nous spécifions – et si ces objectifs resteront stables à mesure que les capacités augmentent. Les modes d’échec classiques incluent le jeu de spécifications (optimisation d’une métrique proxy), la mauvaise spécification d’objectif (nous avons écrit le mauvais objectif) et la convergence instrumentale (systèmes qui recherchent le pouvoir, les ressources ou l’auto-préservation parce que ceux-ci contribuent à presque tous les objectifs finaux). Les laboratoires modernes ont déjà rencontré des versions plus douces de ces échecs : des chatbots qui s'accordent de manière flagrante avec les utilisateurs, des agents qui exploitent des failles dans les fonctions de notation et des modèles qui évaluent les jeux. La question ouverte est de savoir si les méthodes d’alignement actuelles (RLHF, IA constitutionnelle, débat, interprétabilité, techniques de contrôle) s’adaptent à des systèmes capables de planifier, de tromper ou d’agir avec moins de surveillance humaine. C’est pourquoi la recherche sur l’alignement est au centre des débats sur les risques existentiels de l’IA : si des systèmes hautement performants sont mal alignés, les processus ordinaires de sécurité des produits risquent de ne pas suffire.
Mise en œuvre dans le monde réel
Former les assistants avec des données sur les préférences humaines (RLHF) afin qu'ils refusent les dommages évidents et suivent mieux les instructions.
Agents en équipe rouge pour le piratage de récompense : suivre la lettre d'un objectif tout en violant son intention.
Évaluer si un modèle change de comportement lorsqu'il peut dire qu'il est testé (conscience de l'évaluation).
Créer des outils de surveillance afin que les humains les plus faibles puissent toujours superviser des modèles plus forts sur des tâches difficiles.
L’avenir de l’alignement de l’IA
Attendez-vous à davantage de travail sur la mesure de la fidélité de la chaîne de pensée, la détection des intrigues ou des sacs de sable, l'équipe rouge automatisée et les méthodes de contrôle qui supposent un alignement imparfait. L'éducation du public est importante ici : les personnes qui entendent uniquement « alignement = rendre les chatbots polis » sous-estimeront les modes de défaillance catastrophiques et feront trop confiance aux affirmations marketing des laboratoires.
Le mettre en pratique
Pourquoi c'est important
- Risques et sécurité. Les dommages catastrophiques et quotidiens causés par l’IA dépendent tous deux de la personne qui comprend les risques et qui peut agir.
- Décisions plus claires. Les connaissances du public et des professionnels déterminent si une politique de sécurité forte est politiquement possible.
- Passer à travers le battage médiatique. Des explications claires réduisent la capture par le battage médiatique, les relations publiques en laboratoire et le théâtre d'éthique vague.
Attention à
- Traiter le risque existentiel comme de la science-fiction alors que les capacités s’accroissent.
- Confondre sécurité des produits de surface et alignement sous haute autonomie.
- Laisser le public non anglophone et non expert avec uniquement des sources de mauvaise qualité.
Prochaines étapes
- Séparez les dommages causés aux produits, leur mauvaise utilisation et les risques de perte de contrôle/désalignement.
- Demandez quelles preuves pourraient changer votre point de vue sur les délais et la gravité.
- Préférez les sources primaires et les évaluations concrètes aux allégations marketing.
- Identifiez une voie d’action : carrière, politique, financement ou compétences – et pas seulement la sensibilisation.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the AI Alignment quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is AI Alignment?
L’alignement de l’IA est le projet technique et institutionnel visant à faire en sorte que les systèmes d’IA avancés accomplissent de manière fiable ce que les humains souhaitent – y compris dans des situations nouvelles et à enjeux élevés où le système est plus intelligent, plus rapide ou plus autonome que ses opérateurs.
In alignment research, what does the term "reward hacking" describe?
Reward hacking (a form of specification gaming) happens when an optimizer finds loopholes in a proxy objective, such as a boat-racing agent circling to collect points instead of finishing the race.
In RLHF, what is the role of the reward model?
RLHF collects human rankings of model outputs, fits a reward model to predict those preferences, and then optimizes the policy (often with PPO) against that learned reward.
What does goal misspecification mean in the guide?
The guide lists goal misspecification as writing the wrong objective; that differs from exploiting a proxy metric that misses the intended task.
Which description matches instrumental convergence in the guide?
Instrumental convergence describes why systems might seek power, resources, or self-preservation as useful means to many different final goals.
Which modern alignment approach is named in the guide?
The guide lists Constitutional AI among methods labs use alongside RLHF, debate, interpretability, and control techniques.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet