Jak sztuczna inteligencja radzi sobie w quizie na egzaminie adwokackim

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Który element jednolitego egzaminu adwokackiego składa się z 200 pytań wielokrotnego wyboru i stanowi połowę całkowitego wyniku?
   • Wielostanowy test wydajności (MPT)
   • Wielostanowy egzamin z eseju (MEE)
   • Wielostanowy egzamin adwokacki (MBE)
   • Wielostanowy egzamin z odpowiedzialności zawodowej (MPRE)
2. Jaki wynik symulowanego jednolitego egzaminu adwokackiego przytoczono w raporcie technicznym GPT-4 OpenAI w 2023 r.?
   • Około 298 z 400
   • Około 250 z 400
   • Około 350 z 400
   • Około 198 z 400
3. Dlaczego według krytyki Erica Martíneza z 2024 r. wartość 90. percentyla GPT-4 wprowadzała w błąd?
   • Przed badaniem modelowi pokazano klucz odpowiedzi
   • Porównano go z uczestnikami testu z lutego, grupą obejmującą wielu powtarzających się osób
   • Wykorzystano jedynie sekcję dotyczącą testów wydajności
   • Grupę porównawczą stanowili profesorowie prawa, a nie kandydaci
4. Kto ocenił odpowiedzi na eseje GPT-4 na symulowanym egzaminie adwokackim w 2023 r., zgodnie z krytyką opisaną w przewodniku?
   • Oficjalni równiarki przeszkolone przez NCBE
   • Komisja adwokacka stanu
   • Sami badacze, korzystając z opublikowanych przykładowych odpowiedzi
   • Drugi model AI pracujący jako automatyczna równiarka
5. Co odkryli Bommarito i Katz, testując GPT-3.5 w zakresie pytań praktycznych MBE pod koniec 2022 r.?
   • Odpowiedział poprawnie na każde pytanie
   • Odmówiła odpowiedzi na pytania prawne
   • Wynik był poniżej szansy losowej
   • Odpowiedział mniej więcej w połowie poprawnie: powyżej szansy, poniżej podania
6. Dlaczego zanieczyszczenie danych szkoleniowych stanowi szczególny problem w przypadku wyników egzaminów adwokackich AI?
   • Pytania z poprzednich słupków krążą w Internecie i mogły znajdować się w danych szkoleniowych modelu
   • Egzaminy adwokackie są podawane wyłącznie w formie drukowanej, więc modelki nie mogą ich przeczytać
   • NCBE celowo publikuje błędne odpowiedzi
   • Modelkom nie wolno oglądać tekstów prawnych podczas szkolenia
7. Dlaczego badacze symulujący wynik egzaminu adwokackiego muszą w przybliżeniu obliczać konwersję wyników surowych na wyniki skalowane?
   • Wyniki skalowane są wybierane losowo każdego roku
   • Modele dają odpowiedzi, których nie można ocenić
   • W każdej jurysdykcji stosuje się zupełnie inny zestaw pytań
   • Pełny proces zrównywania NCBE nie jest publiczny
8. Do czego według przewodnika przywiązuje się większą wagę egzamin adwokacki NCBE NextGen?
   • Zapamiętywanie dłuższej listy zasad
   • Zintegrowane umiejętności, takie jak badania i kreślenie
   • Szybkość w przypadku pytań wielokrotnego wyboru
   • Argument ustny przed panelem sędziowskim