NastępnyNastępny poradnik
Podsumowania recenzji AI na stronach produktów
Językowa sztuczna inteligencja
PRZEWODNIK Językowy AI
Jak sztuczna inteligencja radzi sobie na egzaminie adwokackim
Duże modele językowe, takie jak GPT-4, uzyskały wyniki powyżej typowych wymagań egzaminacyjnych w symulowanych wersjach egzaminu jednolitego.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie4 minuty czytania
Przegląd
Najbardziej znany wynik to około 298 punktów na 400, o którym poinformowano w 2023 roku. Wyniki te pokazują, że modele radzą sobie z pisemnym, opartym na regułach formatem egzaminu licencjonującego. Mierzą one wydajność testową w warunkach określonych wyborów dotyczących oceniania i porównań, a nie pełny osąd, jakiego potrzebuje praktykujący prawnik.
Głębokie nurkowanie
The Uniform Bar Exam (UBE) has three parts. The Multistate Bar Examination (MBE) has 200 multiple-choice questions and counts for half the score. The Multistate Essay Examination (MEE) has six essays. The Multistate Performance Test (MPT) has two tasks in which the examinee works from a closed file of facts and law to write a memo or brief. Scores run to 400, and each jurisdiction sets its own passing line, commonly between 260 and 270. In late 2022, Michael Bommarito and Daniel Martin Katz tested GPT-3.5 on MBE practice questions. It answered about half correctly: well above chance, but below passing. In March 2023, Katz, Bommarito, Shang Gao and Pablo Arredondo reported that GPT-4 scored about 297 on a full simulated UBE. OpenAI's GPT-4 technical report cited roughly 298 and a percentile near the 90th. The percentile drew the sharpest criticism. In a 2024 paper in the journal Artificial Intelligence and Law, Eric Martínez showed that the 90th-percentile figure was based on February test takers. The February group includes an unusually large share of people retaking the exam after failing. Compared with first-time July takers, his estimate fell to around the 60th percentile, and lower on the essays. He also noted that the essays were scored by the researchers against published sample answers, not by trained bar graders, which adds uncertainty. Contamination is another concern: past questions circulate online and may have been in the training data. A common misconception is that passing the bar means a model can practice law. The exam tests recall of rules and structured analysis within a closed set of facts. Practice also requires investigating facts, counseling clients, planning strategy, judging risk and taking professional responsibility. In Mata v. Avianca (2023), lawyers filed a brief containing citations that ChatGPT had invented. The case showed that exam-level fluency does not guarantee reliable legal research.
Implementacja w świecie rzeczywistym
W raporcie technicznym OpenAI z marca 2023 r. GPT-4 podano symulowany wynik egzaminu adwokackiego Uniform Bar Exam na poziomie około 298 punktów na 400 oraz percentyl w okolicach 90., co było wówczas szeroko powtarzane w nagłówkach.
Profesor prawa testuje pytania wielokrotnego wyboru w stylu MBE za pomocą chatbota i porównuje jego odpowiedzi z odpowiedziami swoich studentów. Model radzi sobie dobrze z utartymi regułami prawnymi (black-letter rules), ale jest mniej niezawodny, gdy stan faktyczny jest celowo niejednoznaczny.
Ewaluator sprawdza, czy pytanie praktyczne zostało opublikowane w internecie przed datą odcięcia danych treningowych modelu. Model, który widział już to pytanie, może odtwarzać odpowiedź zamiast do niej dojść w drodze rozumowania.
Kandydatka do adwokatury korzysta z korepetytora AI, aby wyjaśnić pytania z MBE, na które odpowiedziała błędnie. Sprawdza każde wyjaśnienie z komercyjnym opracowaniem, ponieważ korepetytor czasami przedstawia zasadę mniejszości jako zasadę większości.
Przyszłość wyników sztucznej inteligencji na egzaminie adwokackim
Wyniki egzaminów adwokackich stają się mniej przydatne jako punkt odniesienia. Najlepsze modele osiągają już wyniki bliskie górnej granicy w wielokrotnym wyborze pytań prawniczych, a zanieczyszczenie danych jest trudne do wykluczenia. Badacze przesunęli punkt ciężkości w stronę zestawów zadań, takich jak LegalBench – wspólny benchmark wydany w 2023 roku, który dzieli rozumowanie prawne na wiele węższych zadań. Zwrócili się również ku testom opartym na rzeczywistej pracy, takim jak memoranda badawcze czy analiza umów, ocenianym przez praktykujących prawników. Planowany na 2026 rok egzamin adwokacki NCBE NextGen przykłada większą wagę do zintegrowanych umiejętności, takich jak badania i redagowanie tekstów prawnych. Może to sprawić, że porównania ze sztuczną inteligencją będą bardziej pouczające. To, czy modele potrafią zdać testy, zostało w dużej mierze rozstrzygnięte. Otwartym pytaniem pozostaje to, jak niezawodnie działają i w jaki sposób zawodzą w nieznanych, rzeczywistych sprawach.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Przepływy pracy związane z językiem mogą przebiegać szybciej bez utraty spójności.
- Dostęp i zasięg. Rozszerza dostęp w różnych językach i stylach komunikacji.
- Jaśniejsze decyzje. Zespoły mogą spędzać więcej czasu na ocenie, podczas gdy automatyzacja radzi sobie z powtarzalnością.
Uważaj na
- Halucynacyjne fakty mogą po cichu trafiać do raportów, strumieni wsparcia lub wyników badań.
- Szybka czułość może spowodować niespójne wyniki w przypadku podobnych żądań.
- Wrażliwe dane tekstowe mogą zostać ujawnione, jeśli kontrola dostępu jest słaba.
Kolejne kroki
- Zdefiniuj format wyjściowy, ton i standardy jakości przed wdrożeniem.
- Zawsze, gdy liczy się dokładność, korzystaj z zaufanych źródeł.
- Utrzymuj punkt kontrolny weryfikacji ręcznej w przypadku wyników o wysokiej stawce.
- Śledź wzorce niepowodzeń i regularnie powtarzaj monity lub przepływy pracy.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Rozwiąż quiz pt. Jak sztuczna inteligencja radzi sobie na egzaminie adwokackim
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Czym jest artykuł „Jak sztuczna inteligencja radzi sobie na egzaminie adwokackim”?
Duże modele językowe, takie jak GPT-4, uzyskały wyniki powyżej typowych progów zdawalności w symulowanych wersjach egzaminu Uniform Bar Exam. Najbardziej znany wynik to około 298 punktów na 400, o którym poinformowano w 2023 roku. Wyniki te pokazują, że modele radzą sobie z pisemnym, opartym na regułach formatem egzaminu licencjonującego. Mierzą one wydajność testową w warunkach określonych wyborów dotyczących oceniania i porównań, a nie pełny osąd, jakiego potrzebuje praktykujący prawnik.
Który element jednolitego egzaminu adwokackiego składa się z 200 pytań wielokrotnego wyboru i stanowi połowę całkowitego wyniku?
MBE to sekcja wielokrotnego wyboru składająca się z 200 pytań i stanowiąca 50 procent wyniku UBE. MEE składa się z sześciu esejów, a MPT to dwa zadania o charakterze zamkniętym.
Jaki wynik symulowanego jednolitego egzaminu adwokackiego przytoczono w raporcie technicznym GPT-4 OpenAI w 2023 r.?
OpenAI zgłosiło około 298 z 400. To przekracza zakres podań od 260 do 270 powszechny w różnych jurysdykcjach i został połączony z percentylem w pobliżu 90..
Dlaczego według krytyki Erica Martíneza z 2024 r. wartość 90. percentyla GPT-4 wprowadzała w błąd?
W grupie lutowej duży udział mają osoby, które po nieudanej próbie zdają ponownie egzamin. W porównaniu z osobami, które brały udział w badaniu po raz pierwszy w lipcu, Martínez oszacował, że wartość GPT-4 spadła ogółem do około 60. percentyla.
Kto ocenił odpowiedzi na eseje GPT-4 na symulowanym egzaminie adwokackim w 2023 r., zgodnie z krytyką opisaną w przewodniku?
Eseje były oceniane przez autorów badania na podstawie opublikowanych przykładowych odpowiedzi, a nie przez przeszkolonych rzeczoznawców. Martínez zauważył, że zwiększa to niepewność wyników części pisemnej.
Co odkryli Bommarito i Katz, testując GPT-3.5 w zakresie pytań praktycznych MBE pod koniec 2022 r.?
GPT-3.5 odpowiedział poprawnie na mniej więcej połowę pytań. To znacznie powyżej 25 procent oczekiwanych na podstawie zgadywania pytań z czterema opcjami, ale poniżej poziomu zadowalającego.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat