Conceptos básicos de evaluación de IA

Escriba primero los criterios de aceptación. Especifique la entrada, la salida esperada, los errores tolerables, las limitaciones de tiempo de respuesta y las condiciones que deberían provocar que el sistema se abstenga o escale. Incluya una línea de base simple para mostrar si la complejidad adicional proporciona un beneficio práctico. Cree conjuntos de desarrollo y evaluación separados. Los ejemplos de desarrollo apoyan la iteración; un conjunto retenido prueba las elecciones después de tomarlas. El ajuste repetido del conjunto de prueba final lo convierte en otro conjunto de desarrollo. Registre las versiones para que una puntuación modificada pueda rastrearse hasta datos, indicaciones, modelos o puntuaciones modificados. Utilice métricas apropiadas para la tarea. Un clasificador necesita un análisis de errores específico de la clase; un resumidor necesita comprobaciones de la coherencia y cobertura de los hechos; un agente necesita verificación de las acciones completadas y de los efectos secundarios no deseados. Incluya casos difíciles en lugar de sólo aportaciones típicas. Revise los resultados teniendo en cuenta la incertidumbre y las consecuencias. Una falla poco común puede importar más que muchas diferencias de redacción inofensivas. Repita una tarea estocástica lo suficiente como para comprender la variación y documente dónde la evaluación no representa el uso real. La evaluación apoya una decisión; no elimina la incertidumbre.