Métodos de detección de alucinaciones

La detección plantea una pregunta más concreta que la de por qué los modelos alucinan: dada una salida, ¿se puede confiar en ella? Los sistemas robustos suelen combinar varios de los métodos siguientes. Las comprobaciones de coherencia se basan en una simple observación. Cuando un modelo conoce un hecho, las muestras repetidas tienden a coincidir, mientras que los detalles fabricados tienden a variar. SelfCheckGPT (Manakul et al., 2023) formalizó esto. Genera varias respuestas y mide si cada frase de la respuesta principal está respaldada por las demás. El método no necesita ninguna fuente externa. Los inconvenientes son las llamadas adicionales al modelo y los errores que se pierden cuando un modelo repite la misma respuesta incorrecta cada vez. Las comprobaciones basadas en fuentes comparan el resultado con el texto de referencia, lo que se adapta a los sistemas de recuperación aumentada. La respuesta se divide en afirmaciones atómicas, y cada afirmación se compara con los pasajes recuperados. Vinculación significa que el pasaje respalda lógicamente la afirmación. La prueba utiliza un modelo de inferencia de lenguaje natural o un LLM. Estas comprobaciones miden la fidelidad a las fuentes, lo que no es lo mismo que la verdad si las fuentes están equivocadas. Las señales de incertidumbre utilizan las propias probabilidades del modelo. Las bajas probabilidades de tokens o la alta entropía en intervalos de claves como nombres, números y fechas pueden indicar conjeturas. Los grupos de entropía semántica (Farquhar et al., publicado en Nature en 2024) tomaron muestras de las respuestas por significado antes de medir la incertidumbre, por lo que diferentes formulaciones de la misma respuesta no se cuentan como desacuerdo. Las señales a nivel de token necesitan acceso a las probabilidades de registro, que algunas API limitan. Los modelos de jueces piden a un LLM sólido que califique una respuesta para afirmaciones sin fundamento, generalmente con las fuentes y una rúbrica adjunta. Se escalan bien, pero los jueces tienen sus propios sesgos y tasas de error, así que compárelos con etiquetas humanas. Un error común es pensar que preguntarle a un modelo "¿estás segura?" detecta errores de forma fiable. Los modelos pueden abandonar las respuestas correctas o defender las incorrectas. Los controles estructurados son más confiables.