À suivreGuide suivant
Cadre de gestion des risques liés à l'IA du NIST
Société
GUIDE DE LA SOCIÉTÉ
SR 11-7 est la directive de surveillance de la Réserve fédérale de 2011 sur la gestion des risques de modèle, publiée conjointement avec le Bulletin OCC 2011-12.
Il attend des banques qu’elles développent, valident, gouvernent et surveillent les modèles sur lesquels elles s’appuient. Les banques l’appliquent désormais à l’apprentissage automatique et aux grands modèles de langage, ce qui met à rude épreuve la validation traditionnelle car ces modèles sont souvent opaques, fournis par les fournisseurs et non déterministes. Ces directives sont importantes car une banque qui utilise l’IA pour le crédit, la fraude, la conformité ou le service client doit montrer aux autorités de contrôle qu’elle comprend et contrôle les risques d’échec de ces modèles.
La SR 11-7 a été publiée en avril 2011 par la Réserve fédérale en collaboration avec l'OCC, et la FDIC l'a adoptée en 2017. Elle définit un modèle au sens large : une méthode, un système ou une approche quantitative qui applique des théories statistiques, économiques, financières ou mathématiques pour transformer les données d'entrée en estimations quantitatives. Un modèle comporte une partie saisie, une partie traitement et une partie reporting. Le risque de modèle provient de deux sources : les erreurs fondamentales dans le modèle et l'utilisation incorrecte d'un modèle solide ou en dehors de son objectif prévu. Les orientations reposent sur trois piliers. Le premier est un développement, une mise en œuvre et une utilisation judicieuses. La seconde est la validation, qui comporte trois éléments principaux : l'évaluation de la solidité conceptuelle, la surveillance continue (y compris la vérification des processus et l'analyse comparative) et l'analyse des résultats telle que les back-testings. Le troisième est la gouvernance : surveillance du conseil d'administration et de la haute direction, politiques écrites, inventaire complet du modèle et documentation suffisamment détaillée pour qu'une personne non familière avec le modèle puisse comprendre son fonctionnement. Partout, les lignes directrices appellent à une « contestation efficace », c'est-à-dire à un examen critique par des personnes suffisamment objectives, informées, compétentes et influentes pour imposer des changements. Les modèles de fournisseurs ne bénéficient d’aucune exemption. Les banques sont censées obtenir la documentation appropriée auprès des fournisseurs. Lorsque des informations exclusives ne sont pas divulguées, les banques devraient s’appuyer davantage sur l’analyse de sensibilité, l’analyse comparative et les tests de résultats. Une idée fausse courante est que la SR 11-7 n’atteint pas l’IA car elle est antérieure à l’apprentissage automatique moderne. Sa définition est technologiquement neutre et les superviseurs ont considéré l’IA comme faisant partie de son champ d’application. Les banques classent généralement les outils d’IA générative comme modèles ou les régissent dans le cadre d’un cadre de risque d’IA plus large qui utilise les mêmes principes de validation. Les références connexes incluent le manuel du contrôleur 2021 de l'OCC sur la gestion des risques liés aux modèles et le cadre de gestion des risques du NIST AI, publié en janvier 2023. Pour les décisions de crédit, les exigences en matière d'avis d'action défavorable en vertu de l'Equal Credit Opportunity Act s'appliquent toujours lorsque le modèle est complexe.
Les dommages catastrophiques et quotidiens causés par l’IA dépendent tous deux de la personne qui comprend les risques et qui peut agir.
Les connaissances du public et des professionnels déterminent si une politique de sécurité forte est politiquement possible.
Des explications claires réduisent la capture par le battage médiatique, les relations publiques en laboratoire et le théâtre d'éthique vague.
Les banques élargissent leurs inventaires de modèles et élaborent des méthodes d’évaluation pour l’IA générative. Les superviseurs ont discuté de la gouvernance de l’IA dans des discours et des demandes d’informations, mais la question de savoir si des mises à jour formelles des orientations en matière de risque des modèles seront mises à jour et ce qu’elles diront reste incertaine. Les principes fondamentaux du SR 11-7 (connaître l'objectif du modèle, le tester de manière indépendante, documenter ses limites, le surveiller au fil du temps) s'appliquent bien aux LLM, même lorsque des méthodes spécifiques sont encore en cours d'élaboration. Attendez-vous à ce que la plus grande attention soit portée à la transparence des fournisseurs et à la surveillance continue.
Une banque ajoute un LLM du fournisseur qui résume les réclamations des clients à son inventaire modèle, lui attribue un niveau de risque et le confie à une équipe de validation indépendante avant utilisation en production.
Les validateurs créent un ensemble étiqueté de plusieurs centaines de plaintes pour mesurer la fréquence à laquelle les résumés du LLM omettent un problème qui doit être signalé pour des raisons réglementaires. Ils fixent un seuil d'erreur acceptable avant d'approuver l'outil.
Un modèle de crédit d'apprentissage automatique passe par une analyse des résultats par rapport aux défauts réels, ainsi que par des tests de prêt équitables. Les méthodes d’explication aident à produire les raisons spécifiques des actions défavorables que les prêteurs doivent donner aux candidats.
Un tableau de bord de surveillance suit les changements dans les données d'entrée et échantillonne la qualité de sortie LLM chaque semaine. Lorsque le fournisseur publie une nouvelle version de modèle, le tableau de bord déclenche une revalidation ciblée.
Traiter le risque existentiel comme de la science-fiction alors que les capacités s’accroissent.
Confondre sécurité des produits de surface et alignement sous haute autonomie.
Laisser le public non anglophone et non expert avec uniquement des sources de mauvaise qualité.
Séparez les dommages causés aux produits, leur mauvaise utilisation et les risques de perte de contrôle/désalignement.
Demandez quelles preuves pourraient changer votre point de vue sur les délais et la gravité.
Préférez les sources primaires et les évaluations concrètes aux allégations marketing.
Identifiez une voie d’action : carrière, politique, financement ou compétences – et pas seulement la sensibilisation.
Free newsletter
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
SR 11-7 est la directive de surveillance de la Réserve fédérale de 2011 sur la gestion des risques de modèle, publiée conjointement avec le Bulletin OCC 2011-12. Il attend des banques qu’elles développent, valident, gouvernent et surveillent les modèles sur lesquels elles s’appuient. Les banques l’appliquent désormais à l’apprentissage automatique et aux grands modèles de langage, ce qui met à rude épreuve la validation traditionnelle car ces modèles sont souvent opaques, fournis par les fournisseurs et non déterministes. Ces directives sont importantes car une banque qui utilise l’IA pour le crédit, la fraude, la conformité ou le service client doit montrer aux autorités de contrôle qu’elle comprend et contrôle les risques d’échec de ces modèles.
L'OCC a publié les mêmes directives que le Bulletin 2011-12, de sorte que les deux documents sont souvent cités ensemble.
La validation couvre si la conception est solide, si le modèle continue de fonctionner comme prévu et comment ses résultats se comparent aux résultats réels.
Une contestation efficace signifie une analyse critique réalisée par des personnes compétentes et indépendantes dont les conclusions conduisent réellement à des changements.
Les modèles des fournisseurs sont toujours validés. Lorsque les détails internes ne sont pas disponibles, les tests de comportement et de résultats ont plus de poids.
Les invites, les données de récupération, les paramètres, les outils et les garde-fous façonnent tous la sortie, donc les modifier compte comme un changement de modèle.
Continuez à apprendre
Plus de guides sélectionnés pour ce sujet
À suivreGuide suivant
Cadre de gestion des risques liés à l'IA du NIST
Société