A continuaciónSiguiente guía
Herramientas de escritura de IA
Idioma IA
GUÍA de IA en idiomas
Tasas de alucinaciones en herramientas legales de inteligencia artificial
Las pruebas independientes han encontrado que las herramientas de investigación legal de IA basadas en generación aumentada por recuperación (RAG) siguen dando respuestas incorrectas o sin respaldo una proporción significativa del tiempo.
Escuche esta guíaNarrado por IA · ~3 min
En esta pagina4 minutos de lectura
Descripción general
Un estudio de Stanford de 2024 encontró alucinaciones en más de una de cada seis consultas incluso para la herramienta comercial de mejor desempeño. Es importante porque los proveedores promocionan estas herramientas como libres de alucinaciones, y los abogados que las usan siguen siendo responsables de cada citación que presentan.
Buceo profundo
Two Stanford-affiliated studies shaped the debate. The first, "Large Legal Fictions" (2024), by Matthew Dahl, Varun Magesh, Mirac Suzgun and Daniel Ho, tested general-purpose chatbots on verifiable questions about federal court cases. It found hallucination rates between 69 and 88 percent on those questions. Models also tended to accept false premises built into the questions. Commercial legal vendors argued that their tools avoided this problem through retrieval-augmented generation, which grounds answers in real legal databases. Some marketing used phrases such as "hallucination-free." In 2024, researchers at Stanford's RegLab and Institute for Human-Centered AI tested that claim in a study titled "Hallucination-Free?" They ran more than 200 legal queries through Lexis+ AI, Westlaw AI-Assisted Research and Ask Practical Law AI, with GPT-4 as a comparison. They counted an answer as a hallucination if it was either incorrect or misgrounded. Misgrounded means it cited a real source that does not support the claim. Lexis+ AI performed best, yet still hallucinated on more than 17 percent of queries. Westlaw's tool hallucinated on roughly a third. Ask Practical Law AI often gave incomplete answers. An early version of the paper was criticized because the researchers first lacked access to Westlaw's research tool; they later tested it and revised the paper. Retrieval reduces errors but does not remove them, for several reasons. The retriever may find documents that share words with the query but are not legally relevant. It may miss the controlling authority, or pull a case from the wrong jurisdiction or a superseded version of a rule. The model may then misread or ignore what was retrieved, blend sources together, or go along with a false premise. A common misconception is that a correct-looking citation means a correct answer. The misgrounded category shows that a real citation can support a false claim.
Implementación en el mundo real
Un asociado le pregunta a una herramienta de investigación por qué un tribunal dictó de cierta manera en un caso que en realidad se resolvió de forma contraria. La herramienta acepta la premisa falsa y explica la decisión inventada, citando una opinión real.
Una herramienta devuelve un caso de apelación real con una citación exacta para una proposición que el caso nunca aborda. Esta es una respuesta "mal fundamentada" que parece confiable hasta que alguien lee la opinión.
Una herramienta de investigación cita una decisión que luego fue revocada, porque recuperó la opinión anterior y no verificó su historia posterior.
Un departamento legal prueba a dos proveedores con su propio conjunto de 100 preguntas con respuestas conocidas. Registra si cada citación existe, si respalda la afirmación y si la respuesta es completa.
El futuro de las tasas de alucinación en herramientas legales de IA
Los proveedores han actualizado sus productos desde los estudios de 2024, por lo que las tasas de error específicas pueden no describir las versiones actuales. Por eso las pruebas independientes repetidas importan más que cualquier número único. Los esfuerzos de referencia por terceros y por propios despachos de abogados son cada vez más comunes. Mejores citadores, flujos de trabajo estilo agente que verifican sus propias citaciones y una mayor fundamentación pueden reducir los errores. Hasta ahora nada muestra que la recuperación los elimine por completo. Los tribunales siguen viendo presentaciones con autoridad fabricada o tergiversada, y algunos han impuesto sanciones. A futuro previsible, la revisión humana de cada autoridad citada sigue siendo una obligación profesional, sea cual sea la afirmación del proveedor.
Poniéndolo en práctica
Por qué es importante
- Velocidad y escala. Los flujos de trabajo lingüísticos pueden avanzar más rápido sin sacrificar la coherencia.
- Acceso y alcance. Amplía el acceso a través de idiomas y estilos de comunicación.
- Decisiones más claras. Los equipos pueden dedicar más tiempo a juzgar mientras la automatización se encarga de la repetición.
cuidado con
- Los hechos alucinados pueden aparecer silenciosamente en informes, flujos de apoyo o resultados de investigaciones.
- La sensibilidad rápida puede crear resultados inconsistentes en solicitudes similares.
- Los datos de texto confidenciales pueden quedar expuestos si los controles de acceso son débiles.
Próximos pasos
- Defina el formato de salida, el tono y los estándares de calidad antes del lanzamiento.
- Respuestas terrestres con fuentes confiables siempre que la precisión sea importante.
- Mantenga un punto de control de revisión humana para los resultados de alto riesgo.
- Realice un seguimiento de los patrones de error y vuelva a capacitar las indicaciones o los flujos de trabajo con regularidad.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Realiza el cuestionario Tasas de Alucinación en Herramientas Legales de IA
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué son las Tasas de Alucinación en Herramientas Legales de IA?
Las pruebas independientes han encontrado que las herramientas de investigación legal de IA basadas en generación aumentada por recuperación (RAG) siguen dando respuestas incorrectas o sin respaldo una proporción significativa del tiempo. Un estudio de Stanford de 2024 encontró alucinaciones en más de una de cada seis consultas incluso para la herramienta comercial de mejor desempeño. Es importante porque los proveedores promocionan estas herramientas como libres de alucinaciones, y los abogados que las usan siguen siendo responsables de cada citación que presentan.
¿Cómo definió el estudio de Stanford "¿Libre de alucinaciones?" una alucinación?
El estudio contó dos tipos de error: declaraciones que son incorrectas y declaraciones respaldadas por una citación que en realidad no las respalda.
En los términos del estudio de Stanford, ¿qué es una respuesta "mal fundamentada"?
Una respuesta mal fundamentada señala una autoridad genuina, pero esa autoridad no respalda lo que dice la respuesta. Esto la hace parecer más confiable de lo que es.
¿Qué herramienta obtuvo los mejores resultados en la prueba de Stanford 2024 pero aún alucinó en más del 17 % de las consultas?
Lexis+ AI obtuvo los mejores resultados, pero aún alucinó en más del 17 % de las consultas. La herramienta de Westlaw alucinó en aproximadamente un tercio.
¿Qué rango de alucinación encontró "Large Legal Fictions" para los chatbots de propósito general en preguntas verificables de tribunales federales?
El estudio encontró que los chatbots generales alucinaban entre el 69 % y el 88 % del tiempo en estas preguntas específicas y verificables.
¿Por qué un paso de recuperación puede encontrar la autoridad equivocada aun cuando la base de datos contiene la correcta?
Los recuperadores puntúan la cercanía en la redacción o el significado. Un voto disidente, un resumen del argumento de la otra parte o un caso de la jurisdicción incorrecta pueden obtener una alta puntuación sin ser la autoridad controladora.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.