Sesgo de IA

Examina cómo se recopilaron los ejemplos y las etiquetas. Las poblaciones faltantes, las anotaciones inconsistentes, las decisiones históricas y las mediciones selectivas pueden dar forma a lo que aprende el modelo. Una etiqueta de objetivo puede reflejar un proceso antiguo en lugar del resultado subyacente que interesa a la gente. Mida el rendimiento en grupos y condiciones relevantes con controles de privacidad adecuados. Informar los tamaños de muestra y la incertidumbre. Un pequeño subgrupo puede tener estimaciones poco confiables, mientras que un promedio global puede ocultar una disparidad grande y prácticamente importante. Diferentes criterios de equidad responden a diferentes preguntas y pueden entrar en conflicto. Igualar una medida estadística no resuelve todas las preocupaciones éticas o legales. Elija criterios con experiencia en el dominio y la participación de las personas afectadas por el sistema. Revise el flujo de trabajo en torno al modelo. La forma en que se utilizan las predicciones, quién puede cuestionar un resultado y cómo se recopila la retroalimentación pueden cambiar la distribución del daño. Evaluar las mitigaciones tanto por su efecto previsto como por posibles nuevos problemas. Trate la equidad como una evaluación continua en lugar de un certificado único.