A continuaciónSiguiente guía
Resúmenes de revisiones de IA en páginas de productos
Idioma IA
GUÍA de IA en idiomas
Cómo se desempeña la IA en el examen de la abogacía
Los modelos de lenguajes grandes, como GPT-4, obtuvieron puntajes superiores a las líneas de aprobación típicas en versiones simuladas del examen uniforme de abogados.
Escuche esta guíaNarrado por IA · ~3 min
En esta pagina4 minutos de lectura
Descripción general
La cifra más conocida es aproximadamente 298 de 400, reportada en 2023. Estos resultados muestran que los modelos pueden manejar el formato escrito y lleno de reglas de una prueba de licencia. Miden el desempeño de las pruebas bajo opciones particulares de calificación y comparación, no el juicio completo que necesita un abogado en ejercicio.
Buceo profundo
The Uniform Bar Exam (UBE) has three parts. The Multistate Bar Examination (MBE) has 200 multiple-choice questions and counts for half the score. The Multistate Essay Examination (MEE) has six essays. The Multistate Performance Test (MPT) has two tasks in which the examinee works from a closed file of facts and law to write a memo or brief. Scores run to 400, and each jurisdiction sets its own passing line, commonly between 260 and 270. In late 2022, Michael Bommarito and Daniel Martin Katz tested GPT-3.5 on MBE practice questions. It answered about half correctly: well above chance, but below passing. In March 2023, Katz, Bommarito, Shang Gao and Pablo Arredondo reported that GPT-4 scored about 297 on a full simulated UBE. OpenAI's GPT-4 technical report cited roughly 298 and a percentile near the 90th. The percentile drew the sharpest criticism. In a 2024 paper in the journal Artificial Intelligence and Law, Eric Martínez showed that the 90th-percentile figure was based on February test takers. The February group includes an unusually large share of people retaking the exam after failing. Compared with first-time July takers, his estimate fell to around the 60th percentile, and lower on the essays. He also noted that the essays were scored by the researchers against published sample answers, not by trained bar graders, which adds uncertainty. Contamination is another concern: past questions circulate online and may have been in the training data. A common misconception is that passing the bar means a model can practice law. The exam tests recall of rules and structured analysis within a closed set of facts. Practice also requires investigating facts, counseling clients, planning strategy, judging risk and taking professional responsibility. In Mata v. Avianca (2023), lawyers filed a brief containing citations that ChatGPT had invented. The case showed that exam-level fluency does not guarantee reliable legal research.
Implementación en el mundo real
El informe técnico OpenAI de marzo de 2023 de GPT-4 enumeró una puntuación simulada en el examen uniforme de la abogacía de aproximadamente 298 sobre 400 y un percentil cercano al 90, una cifra que luego se repitió ampliamente en los titulares.
Una profesora de derecho pasa preguntas de opción múltiple estilo MBE a través de un chatbot y compara sus respuestas con las de sus alumnos. El modelo es fuerte en reglas estrictas, pero menos confiable cuando los hechos son deliberadamente ambiguos.
Un evaluador verifica si una pregunta de práctica se publicó en línea antes del límite de capacitación de un modelo. Un modelo que ya ha visto la pregunta puede estar recordando una respuesta en lugar de razonar sobre ella.
Una solicitante de empleo utiliza un tutor de inteligencia artificial para explicar las preguntas de MBE que se perdió. Compara cada explicación con un esquema comercial porque el tutor a veces presenta una regla de minoría como regla de mayoría.
El futuro del desempeño de la IA en el examen de la abogacía
Las puntuaciones de las barras son cada vez menos útiles como punto de referencia. Los mejores modelos ya obtienen puntuaciones cercanas al techo en preguntas legales de opción múltiple, y es difícil descartar la contaminación. Los investigadores han avanzado hacia colecciones de tareas como LegalBench, un punto de referencia colaborativo publicado en 2023 que divide el razonamiento legal en muchas tareas más específicas. También han avanzado hacia pruebas basadas en trabajos reales, como memorandos de investigación y revisión de contratos, calificados por abogados en ejercicio. El examen de barra NextGen de NCBE, cuyo inicio está previsto para 2026, otorga más peso a habilidades integradas como la investigación y la redacción. Eso puede hacer que las comparaciones con la IA sean más informativas. Está en gran medida decidido si los modelos pueden pasar las pruebas. La pregunta abierta es cuán confiablemente se desempeñan y cómo fallan en asuntos reales desconocidos.
Poniéndolo en práctica
Por qué es importante
- Velocidad y escala. Los flujos de trabajo lingüísticos pueden avanzar más rápido sin sacrificar la coherencia.
- Acceso y alcance. Amplía el acceso a través de idiomas y estilos de comunicación.
- Decisiones más claras. Los equipos pueden dedicar más tiempo a juzgar mientras la automatización se encarga de la repetición.
cuidado con
- Los hechos alucinados pueden aparecer silenciosamente en informes, flujos de apoyo o resultados de investigaciones.
- La sensibilidad rápida puede crear resultados inconsistentes en solicitudes similares.
- Los datos de texto confidenciales pueden quedar expuestos si los controles de acceso son débiles.
Próximos pasos
- Defina el formato de salida, el tono y los estándares de calidad antes del lanzamiento.
- Respuestas terrestres con fuentes confiables siempre que la precisión sea importante.
- Mantenga un punto de control de revisión humana para los resultados de alto riesgo.
- Realice un seguimiento de los patrones de error y vuelva a capacitar las indicaciones o los flujos de trabajo con regularidad.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Realice el cuestionario sobre cómo se desempeña la IA en el examen de la abogacía
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Cuál es el rendimiento de la IA en el examen de la abogacía?
Los modelos de lenguajes grandes, como GPT-4, obtuvieron puntajes superiores a las líneas de aprobación típicas en versiones simuladas del examen uniforme de abogados. La cifra más conocida es aproximadamente 298 de 400, reportada en 2023. Estos resultados muestran que los modelos pueden manejar el formato escrito y lleno de reglas de una prueba de licencia. Miden el desempeño de las pruebas bajo opciones particulares de calificación y comparación, no el juicio completo que necesita un abogado en ejercicio.
¿Qué componente del examen uniforme de abogados tiene 200 preguntas de opción múltiple y cuenta para la mitad de la puntuación total?
El MBE es una sección de opción múltiple de 200 preguntas y representa el 50 por ciento del puntaje de la UBE. El MEE consta de seis ensayos y el MPT consta de dos tareas de expediente cerrado.
¿Qué puntuación simulada del examen uniforme de abogados citó el informe técnico GPT-4 de OpenAI en 2023?
OpenAI reportó aproximadamente 298 de 400. Eso está por encima del rango de aprobación de 260 a 270 común en todas las jurisdicciones, y se emparejó con un percentil cercano al 90.
According to Eric Martínez's 2024 critique, why was GPT-4's 90th-percentile figure misleading?
El grupo de febrero incluye una gran proporción de personas que repiten el examen después de haberlo reprobado. En comparación con los compradores por primera vez en julio, Martínez estimó que GPT-4 cayó a alrededor del percentil 60 en general.
¿Quién calificó las respuestas de ensayo de GPT-4 en el examen de abogacía simulado de 2023, según la crítica descrita en la guía?
Los autores del estudio calificaron los ensayos basándose en muestras de respuestas publicadas, no por evaluadores de abogados capacitados. Martínez señaló que esto añade incertidumbre a las puntuaciones de la sección escrita.
¿Qué encontraron Bommarito y Katz cuando probaron GPT-3.5 en preguntas de práctica de MBE a finales de 2022?
GPT-3.5 respondió correctamente aproximadamente la mitad de las preguntas. Eso está muy por encima del 25 por ciento esperado al adivinar preguntas de cuatro opciones, pero por debajo del nivel aprobado.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.