Cuestionario vinculado a una guía · Medio Nivel

Cómo se desempeña la IA en el examen de la abogacía

Pone a prueba la estructura del examen uniforme de la barra, la crítica de la afirmación del percentil 90 de GPT-4 y por qué la contaminación y las opciones de calificación afectan los puntajes de IA.

Rutas de guía relacionadasLa IA y el examen de la abogacía
Pregunta 1 de 8

¿Qué componente del examen uniforme de abogados tiene 200 preguntas de opción múltiple y cuenta para la mitad de la puntuación total?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué componente del examen uniforme de abogados tiene 200 preguntas de opción múltiple y cuenta para la mitad de la puntuación total?
    • The Multistate Performance Test (MPT)
    • The Multistate Essay Examination (MEE)
    • The Multistate Bar Examination (MBE)
    • The Multistate Professional Responsibility Examination (MPRE)
  2. ¿Qué puntuación simulada del examen uniforme de abogados citó el informe técnico GPT-4 de OpenAI en 2023?
    • About 298 out of 400
    • About 250 out of 400
    • About 350 out of 400
    • About 198 out of 400
  3. According to Eric Martínez's 2024 critique, why was GPT-4's 90th-percentile figure misleading?
    • The model was shown the answer key before testing
    • It was compared with February test takers, a group that includes many repeat takers
    • Only the performance test section was used
    • The comparison group was law professors, not applicants
  4. ¿Quién calificó las respuestas de ensayo de GPT-4 en el examen de abogacía simulado de 2023, según la crítica descrita en la guía?
    • Official NCBE-trained bar graders
    • A committee of a state bar
    • The researchers themselves, using published sample answers
    • A second AI model working as an automatic grader
  5. ¿Qué encontraron Bommarito y Katz cuando probaron GPT-3.5 en preguntas de práctica de MBE a finales de 2022?
    • It answered every question correctly
    • It refused to answer legal questions
    • It scored below random chance
    • It answered about half correctly: above chance, below passing
  6. Why is training-data contamination a specific concern for AI bar exam results?
    • Past bar questions circulate online and may have been in the model's training data
    • Bar exams are only given in printed form, so models cannot read them
    • The NCBE deliberately publishes wrong answers
    • Models are forbidden from seeing legal text during training
  7. Why do researchers simulating a bar exam score have to approximate the conversion from raw to scaled scores?
    • Scaled scores are chosen at random each year
    • Models produce answers that cannot be scored
    • Each jurisdiction uses a completely different set of questions
    • The NCBE's full equating process is not public
  8. What does the guide say the NCBE's NextGen bar exam gives more weight to?
    • Memorizing a longer list of rules
    • Integrated skills such as research and drafting
    • Speed on multiple-choice questions
    • Oral argument before a panel of judges