Calibración de confianza de IA

Distinguir la calibración estadística de la confianza de una persona. Una puntuación de probabilidad calibrada tiene una relación empírica con la frecuencia con la que las predicciones son correctas en casos comparables. La confianza humana también depende del diseño de la interfaz, de la experiencia pasada, de las explicaciones y de las consecuencias de los errores. La confianza verbal de un modelo es otro resultado a evaluar. Puede parecer cierto sin pruebas fiables. Incluso un modelo calibrado estadísticamente puede funcionar mal, y una buena calibración en un conjunto de datos no garantiza la calibración después de un cambio de idioma, dominio o tarea. Brinde a los usuarios información que respalde la verificación independiente. Muestre fuentes, describa limitaciones relevantes y separe los resultados verificados de las conclusiones inferidas. Evite insignias decorativas de confianza que sugieran más precisión de la medida. Pruebe cómo las personas usan el sistema, incluso si notan errores y ejercitan las anulaciones de manera adecuada. Mida tanto la dependencia excesiva como el rechazo innecesario. Actualice la guía cuando cambie el comportamiento y conserve una forma sencilla de informar errores o completar la tarea sin el modelo.