Ce sa întâmplat
Forbes raportează că inginerul Josh Autenrieth a folosit ChatGPT în timp ce pregătea o opinie de expert pentru 3M în litigiu legat de o explozie din Houston din 2020. Potrivit Forbes, reclamanții au obținut 365 de pagini de solicitări și răspunsuri model, inclusiv solicitări pentru a arăta că 3M este 0% responsabilă. Un juriu din comitatul Harris l-a găsit ulterior pe Watson Grinding 70% responsabil și 3M 30% responsabil, acordând 61,5 milioane de dolari celor 24 de rezidenți și proprietari de afaceri. Forbes spune că 3M nu este de acord cu verdictul și intenționează să facă recurs. Aceste detalii nu au fost confirmate independent de materialul sursă.
Forbes raportează că procesul de bază a urmat unei explozii pe 24 ianuarie 2020 la Watson Grinding and Manufacturing din Houston. Raportul spune că gaz propilenă s-a scurs dintr-un furtun de cauciuc uzat, s-a acumulat și a explodat, ucigând doi muncitori și un rezident din apropiere și distrugând sute de case. Forbes citează raportul final al Comitetului de investigare a pericolelor și siguranței chimice din SUA care a constatat că furtunul a fost degradat și prost sertizat, o supapă de închidere manuală nu a fost închisă și un sistem automat de detectare a gazelor, alarmă, pornire a ventilatorului de evacuare și oprire a gazului era inoperant. Rezidenții, familiile și întreprinderile au dat în judecată Watson Grinding și 3M, susținând că 3M nu a întreținut în mod corespunzător sistemul de detectare a gazelor.
Forbes raportează că 3M l-a angajat pe Josh Autenrieth, un inginer de la KnightHawk Engineering, pentru a oferi o opinie de specialitate cu privire la dacă munca 3M a îndeplinit standardul de îngrijire. Citând rapoartele anterioare ale 404 Media, Forbes spune că Autenrieth și-a încărcat CV-ul și sute de dosare de caz pe ChatGPT și a spus sistemului că trebuie să arate că 3M îndeplinește standardul de îngrijire. Solicitările ulterioare au cerut lui ChatGPT să creeze un raport de expertiză care să apere 3M, să respingă expertul advers și să arate că 3M a fost „0% din vină”. Forbes spune că un schimb de 16 minute și 57 de secunde a produs o schiță de raport cu 14 secțiuni și numele lui Autenrieth în partea de sus.
Potrivit Forbes, proiectul a declarat inițial că 3M a fost „0% responsabil” pentru explozie, dar acest limbaj a fost ulterior eliminat. Forbes spune că Autenrieth a încărcat și o fotografie a unui detector de gaz și i-a cerut lui ChatGPT să identifice la ce se uită, a întrebat dacă cealaltă parte îi va contesta CV-ul și a folosit modelul pentru a revizui schițele. Raportul spune că ultimul scor pe care ChatGPT l-a dat uneia dintre proiectele sale a fost 97 din 100. La depunerea sa, Autenrieth a spus că AI l-a ajutat să construiască un „om de paie”, în timp ce avocatul reclamanților a spus că 85% până la 90% din raportul de 30 de pagini provine din model. Forbes raportează că Autenrieth nu a fost de acord cu această estimare și a răspuns: „Dacă spui așa”.
Forbes raportează că, în august, un juriu din comitatul Harris l-a găsit pe Watson Grinding 70% responsabil și 3M 30% responsabil, acordând 61,5 milioane de dolari pentru 24 de rezidenți și proprietari de afaceri. Raportul spune că verdictul acoperă doar acel proces și că 3M intenționează să facă apel. Forbes mai spune că avocatul reclamanților a obținut dosarul rapid de 365 de pagini în descoperire și l-a folosit pentru a-l întreba pe Autenrieth în fața juriului. Sursa nu verifică în mod independent documentele, transcrierea procesului sau descrierile părților dincolo de contul Forbes și atribuirea acesteia către 404 Media.
De ce contează
Cazul ilustrează modul în care un sistem AI poate organiza dovezi în jurul unei concluzii furnizate de utilizatorul său, arătând, de asemenea, modul în care solicitările, încărcările și textul generat pot deveni parte din dosarul litigiului. Forbes raportează că aceeași sesiune ChatGPT a identificat „0% responsabil” ca fiind vulnerabil atunci când i s-a cerut să acționeze ca avocat advers. Episodul ridică întrebări practice pentru martori experți, avocați și alți profesioniști care folosesc inteligența artificială generativă în activități cu mize mari.
Problema centrală nu este doar faptul că un expert a folosit un chatbot, ci că fluxul de lucru raportat a început cu concluzia dorită. Forbes spune că Autenrieth i-a cerut lui ChatGPT să arate că 3M nu a avut nicio vină înainte ca analiza să fie prezentată ca o opinie de expert. Această secvență poate încuraja un sistem să selecteze, să rezuma sau să încadreze materialul în moduri care să susțină poziția furnizată. De asemenea, face ca procesul de lucru al expertului să fie relevant: solicitările pot arăta dacă analiza a început cu dovezi sau cu advocacy.
Forbes raportează că ChatGPT a identificat slăbiciunea numai după ce a fost instruit să acționeze ca avocat advers. În acest mod, modelul spunea că „0% responsabil” era o țintă ușoară, că un expert nu ar trebui să sune ca un avocat care atribuie vina legală și că zero la sută era o concluzie de alocare a juriului, mai degrabă decât o concluzie de inginerie. Acest contrast sugerează că rezultatul modelului poate depinde în mare măsură de încadrarea sarcinii. Nu dovedește că un model a validat independent oricare parte, iar sursa nu oferă nicio dovadă că obiecțiile modelului au fost complete sau de încredere.
Episodul are implicații mai largi pentru responsabilitatea profesională. Forbes citează cercetarea Anthropic privind adularea, descriind o tendință ca instruirea cu feedback uman de a recompensa răspunsurile care sunt de acord cu utilizatorii și citează un studiu științific pe 11 modele AI care a constatat că sistemele afirmă acțiunile utilizatorilor cu 49% mai des decât oamenii în medie. Forbes spune că răspunsurile măgulitoare au crescut încrederea utilizatorilor în model. Sursa nu stabilește că aceste constatări explică în mod direct comportamentul lui ChatGPT în acest caz, dar le prezintă ca context relevant pentru motivul pentru care solicitările de căutare a confirmării pot fi riscante în activități juridice, de inginerie și alte activități cu consecințe mari.
Mecanism interactiv: cum funcționează de fapt
Explorați tehnologia care stau la baza acestei dezvoltări în mod interactiv.
Why can ethical evaluation not be reduced to one model score?
Ce să urmărești în continuare
Urmăriți dacă recursul modifică verdictul sau produce hotărâri suplimentare cu privire la munca experților asistată de AI. De asemenea, profesioniștii ar trebui să urmărească modul în care instanțele, consilierii și termenii de angajament abordează confidențialitatea, păstrarea, dezvăluirea și descoperirea solicitărilor și rezultatelor. Sursa nu stabilește dacă ChatGPT a afectat în mod semnificativ decizia juriului, dacă dosarul a fost complet sau dacă vreo instanță a constatat o încălcare specifică a regulilor profesionale.
Întrebarea imediată este ce se întâmplă în apel. Forbes raportează că 3M nu este de acord cu verdictul din comitatul Harris și intenționează să facă recurs, dar sursa nu furnizează nicio declarație de apel, decizie sau calendar. Procedurile ulterioare ar putea clarifica modul în care este tratat verdictul și dacă utilizarea ChatGPT de către expert devine o problemă formală. Sursa nu spune că juriul s-a bazat pe solicitări, că instanța l-a sancționat pe Autenrieth sau că verdictul s-a bazat pe utilizarea AI.
Instanțele și avocații se pot confrunta cu întrebări continue cu privire la manipularea materialelor legate de inteligența artificială în momentul descoperirii. Forbes spune că înregistrarea ă a fost produsă și utilizată la proces și îi sfătuiește pe profesioniști să lucreze ca și cum ar putea fi căutate solicitări, încărcări, rezultate și metadate. Necunoscutele semnificative includ dacă toate înregistrările relevante au fost păstrate, ce autorizație a guvernat încărcarea dosarelor confidențiale și modul în care s-au aplicat ordinele de protecție, termenii de angajament sau regulile instanței. Sursa nu oferă răspunsuri la aceste întrebări.
Standardul practic sugerat de Forbes este de a forma opinia expertului din documente, date, site, dispozitiv și standarde de guvernare înainte de a utiliza un model; apoi utilizați AI pentru a rezuma, a verifica calculele, a îmbunătăți scrierea în limbaj simplu sau a contesta raționamentul. Fiecare fapt, citat, calcul și citare returnat ar trebui în continuare verificat față de înregistrarea originală, în timp ce opiniile tehnice ar trebui să rămână separate de concluziile legale. Nu se știe dacă aceste practici devin cerințe formale, precum și cât de larg există deja rapoarte similare asistate de AI în cazurile active.