À suivreSuivant dans Utilisateur responsable de l’IA
IA et confidentialité
Société
GUIDE DE LA SOCIÉTÉ
Les biais de l’IA peuvent provenir des données, des mesures, des choix de modélisation, des jugements humains et du système plus large dans lequel un modèle est utilisé.
Écoutez ce guideNarré par l'IA · ~2 min
Certains modèles peuvent produire des résultats injustes ou néfastes. L'évaluation des biais nécessite de définir le contexte et les conséquences, et pas seulement de supprimer une colonne sensible d'un ensemble de données.
Examinez comment les exemples et les étiquettes ont été collectés. Les populations manquantes, les annotations incohérentes, les décisions historiques et les mesures sélectives peuvent façonner ce que le modèle apprend. Une étiquette cible peut refléter un processus ancien plutôt que le résultat sous-jacent qui intéresse les gens. Mesurez les performances des groupes et conditions pertinents avec des contrôles de confidentialité appropriés. Déclarez la taille des échantillons et l’incertitude. Un petit sous-groupe peut avoir des estimations peu fiables, tandis qu’une moyenne mondiale peut cacher une disparité importante et pratiquement importante. Différents critères d’équité répondent à différentes questions et peuvent entrer en conflit. L’égalisation d’une mesure statistique ne règle pas toutes les préoccupations éthiques ou juridiques. Choisissez des critères avec une expertise du domaine et la participation des personnes concernées par le système. Passez en revue le flux de travail autour du modèle. La manière dont les prédictions sont utilisées, qui peut contester un résultat et la manière dont les commentaires sont recueillis peuvent modifier la répartition des préjudices. Évaluez les mesures d’atténuation en fonction de leur effet escompté et des nouveaux problèmes possibles. Considérez l’équité comme une évaluation continue plutôt que comme un certificat ponctuel.
04Exemple travaillé
Dans un test inventé, le groupe A compte 900 exemples avec une précision de 95 %, tandis que le groupe B compte 100 exemples avec une précision de 60 %.
Le résultat global est dominé par le groupe A. Signalez le groupe B séparément et inspectez ses erreurs et l'incertitude de l'échantillon.
Étudiez la couverture des données et les causes du flux de travail avant de choisir une atténuation.
Ce que ça montre
Ces chiffres hypothétiques illustrent pourquoi un score global ne peut pas établir une performance équitable.
Comparez les taux d'erreur dans des conditions de fonctionnement réalistes avec les tailles d'échantillon indiquées.
Vérifiez si une étiquette de formation reflète une décision passée plutôt que le résultat escompté.
Newsletter gratuite
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Pas par cette seule étape. Les variables proxy, les étiquettes, les pratiques de collecte et les décisions de déploiement peuvent toujours produire des résultats inégaux.
Continuez à apprendre
Plus de guides sélectionnés pour ce sujet
À suivreSuivant dans Utilisateur responsable de l’IA
IA et confidentialité
Société