Cuestionario sobre sesgos en la IA

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. Según la guía, ¿dónde puede entrar el sesgo en un sistema de IA?
   • Los datos, la medición, las decisiones de modelado, los juicios humanos y el flujo de trabajo que los rodea
   • Solo a través de una columna sensible
   • Solo a través de la interfaz de usuario
   • Solo después de desplegar un modelo
2. ¿Por qué eliminar un atributo sensible puede no eliminar el sesgo?
   • Los atributos sensibles son siempre la única fuente
   • Otras características o etiquetas históricas pueden codificar patrones relacionados
   • Eliminar columnas garantiza la equidad
   • La evaluación de modelos ya no necesita grupos
3. La etiqueta de un conjunto de datos refleja una decisión humana pasada. ¿Qué debería preguntarse el equipo?
   • Si se eliminó la columna sensible
   • Si la etiqueta es fácil de predecir
   • Si la etiqueta captura el resultado deseado o un proceso antiguo
   • Si el modelo tiene suficientes capas
4. ¿Por qué informar los tamaños de muestra y la incertidumbre en las métricas por subgrupo?
   • Una puntuación promedio siempre es suficiente
   • Todos los subgrupos tienen el mismo tamaño de muestra
   • La incertidumbre hace imposible las pruebas por grupos
   • Los grupos pequeños pueden tener estimaciones poco fiables y los promedios pueden ocultar disparidades
5. ¿Por qué elegir un único criterio de equidad puede dejar sin resolver otras preocupaciones?
   • Un solo criterio estadístico resuelve todas las preocupaciones legales
   • Distintos criterios responden a preguntas diferentes y pueden entrar en conflicto
   • Una sola métrica garantiza la equidad en todos los contextos
   • Elegir una métrica elimina la necesidad de la opinión de las comunidades afectadas
6. ¿Quién debería ayudar a elegir los criterios de equidad para un sistema de consecuencias importantes?
   • Solo el equipo de ingeniería
   • Only the model vendor
   • Expertos del dominio y personas afectadas por el sistema
   • Un modelo de lenguaje sin revisión
7. ¿Por qué revisar el flujo de trabajo alrededor de un modelo?
   • El modo en que se usan y se impugnan las predicciones puede cambiar la distribución del daño
   • El resultado del modelo determina por completo la equidad
   • Las apelaciones no pueden afectar los resultados
   • El flujo de trabajo no tiene efecto tras el entrenamiento
8. ¿Qué debería hacer un equipo después de aplicar una mitigación de sesgo?
   • Hide subgroup results
   • Suponer que la mitigación certifica la equidad
   • Stop monitoring
   • Evaluar su efecto previsto y los posibles problemas nuevos