À suivreSuivant dans Politique et société de l'IA
Sécurité de l'IA
Société
GUIDE DE LA SOCIÉTÉ
Sécurité de l'IA
La sécurité de l’IA protège les modèles, données, outils et services environnants contre tout accès ou manipulation non autorisés.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Cela inclut la sécurité des logiciels ordinaires et les menaces qui ciblent l’apprentissage ou modélisent le comportement. Une conception sécurisée commence par les actifs, les adversaires et les limites de confiance de l’application réelle.
Points clés à retenir
- Modélisez l’application complète en termes de menaces.
- Appliquez les autorisations en dehors du modèle.
- Testez à nouveau les contrôles lors des modifications du système.
Plongée profonde
Identifiez ce qui doit être protégé : entrées privées, données de formation, artefacts de modèle, informations d'identification, comptes connectés et actions externes. Enregistrez qui peut influencer chaque entrée et ce qu’un attaquant pourrait gagner en cas d’échec. Un chatbot public et un agent interne avec accès en écriture ont des modèles de menace différents. Les menaces peuvent affecter différentes étapes. Le matériel de formation empoisonné peut altérer le comportement appris ; les entrées contradictoires peuvent manipuler les prédictions ; un contenu récupéré non fiable peut rediriger une application utilisant un outil. La sortie du modèle peut également devenir dangereuse lorsqu'elle est insérée dans une requête de base de données, une page Web ou une commande sans traitement approprié. Appliquez des contrôles à la limite du logiciel. Appliquez l'autorisation dans le code, conservez les secrets hors du contexte visible du modèle lorsque cela est possible, limitez la portée de l'outil et validez les sorties avant utilisation. Une invite demandant à un modèle de se comporter en toute sécurité ne peut pas remplacer l'isolement du compte ou les contrôles d'autorisation. Testez les chemins de défaillance représentatifs dans un environnement autorisé et maintenez un processus d’incident. Enregistrez suffisamment d'informations pour enquêter sans collecter de contenu sensible inutile. Évaluez les contrôles après les modifications apportées au modèle, aux sources de récupération, aux outils et aux dépendances. Décrire honnêtement le risque résiduel ; aucun filtre n’assure à lui seul une protection complète.
04Exemple travaillé
Localiser la limite de sécurité
Imaginez un assistant recherchant dans un magasin de documents privé un utilisateur connecté.
Appliquez le filtre d'accès de l'utilisateur dans le service de récupération avant que les documents n'entrent dans le contexte du modèle.
Testez avec un document appartenant à un autre compte et vérifiez que ni son contenu ni ses métadonnées d'identification n'apparaissent dans le résultat.
Ce que ça montre
Ce test défensif et hypothétique vérifie l’autorisation indépendamment de la volonté du modèle de suivre les instructions.
Mise en œuvre dans le monde réel
Vérifiez qu'un compte ne peut pas récupérer les documents d'un autre compte.
Validez les champs générés avant de les utiliser dans une opération de base de données.
Le mettre en pratique
Pourquoi c'est important
- Risques et sécurité. Les dommages catastrophiques et quotidiens causés par l’IA dépendent tous deux de la personne qui comprend les risques et qui peut agir.
- Décisions plus claires. Les connaissances du public et des professionnels déterminent si une politique de sécurité forte est politiquement possible.
- Passer à travers le battage médiatique. Des explications claires réduisent la capture par le battage médiatique, les relations publiques en laboratoire et le théâtre d'éthique vague.
Attention à
- Traiter le risque existentiel comme de la science-fiction alors que les capacités s’accroissent.
- Confondre sécurité des produits de surface et alignement sous haute autonomie.
- Laisser le public non anglophone et non expert avec uniquement des sources de mauvaise qualité.
Prochaines étapes
- Séparez les dommages causés aux produits, leur mauvaise utilisation et les risques de perte de contrôle/désalignement.
- Demandez quelles preuves pourraient changer votre point de vue sur les délais et la gravité.
- Préférez les sources primaires et les évaluations concrètes aux allégations marketing.
- Identifiez une voie d’action : carrière, politique, financement ou compétences – et pas seulement la sensibilisation.
Sources et lectures complémentaires
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the AI Security quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Un système puissant est-il suffisamment rapide pour sécuriser un assistant ?
Non. L’authentification, l’autorisation, la gestion des entrées et des sorties, les limites des outils et la réponse aux incidents restent des éléments nécessaires de l’application.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet