Il prossimoProssima guida
Pregiudizio razziale negli algoritmi sanitari
Società
GUIDA della Società
COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) è uno strumento di valutazione del rischio commerciale di Northpointe, ora Equivant, che valuta la probabilità che un imputato possa recidivare.
Ascolta questa guidaNarrato dall'IA · ~3 min
È diventato il caso di studio centrale nell’equità algoritmica dopo che un’indagine di ProPublica del 2016 ha scoperto che i suoi errori cadevano in modo non uniforme in base alla razza. Il dibattito che ne è seguito ha mostrato che le definizioni comuni di equità possono essere matematicamente contrastanti.
Nel maggio 2016, ProPublica ha pubblicato "Machine Bias". Ha analizzato i punteggi COMPAS di circa 7.000 persone arrestate nella contea di Broward, in Florida, nel 2013 e nel 2014, e ha controllato chi è stato accusato di un nuovo crimine entro due anni. La razza non è un input per COMPAS, che utilizza precedenti penali e un questionario. Anche così, ProPublica ha scoperto che tra le persone che non hanno commesso reati recidivi, gli imputati neri avevano quasi il doppio delle probabilità rispetto agli imputati bianchi di essere etichettati a rischio più elevato. Tra le persone che hanno commesso recidivi, gli imputati bianchi sono stati più spesso etichettati a basso rischio. In parole povere, i tassi di falsi positivi erano più alti per gli imputati neri e i tassi di falsi negativi erano più alti per gli imputati bianchi. ProPublica ha anche riferito che la precisione complessiva era modesta, circa il 60%. Northpointe ha risposto che lo strumento era corretto secondo uno standard diverso. Ad ogni livello di punteggio, gli imputati bianchi e neri hanno commesso nuovamente reati con percentuali simili, quindi un dato punteggio significava la stessa cosa indipendentemente dalla razza. Questa proprietà è chiamata calibrazione o parità predittiva. I numeri di ciascuna parte erano in gran parte corretti. I ricercatori hanno poi dimostrato perché entrambi potrebbero avere ragione. Jon Kleinberg, Sendhil Mullainathan e Manish Raghavan, e separatamente Alexandra Chouldechova, hanno dimostrato che quando due gruppi hanno tassi di base diversi del risultato, un punteggio non può essere calibrato e hanno anche tassi uguali di falsi positivi e falsi negativi tra i gruppi. L'unica eccezione è un predittore perfetto. Quindi scegliere una definizione di equità è un giudizio di valore, non un dettaglio tecnico. Nel caso State v. Loomis (2016), la Corte Suprema del Wisconsin ha consentito ai giudici di prendere in considerazione COMPAS durante la sentenza. Ha stabilito che il punteggio non poteva essere il fattore decisivo e ha richiesto ammonizioni scritte per accompagnarlo. Uno studio di Dartmouth del 2018 condotto da Julia Dressel e Hany Farid ha rilevato che i volontari online non addestrati hanno previsto il nuovo arresto con la stessa precisione di COMPAS. Un malinteso comune è che escludere la razza elimini i pregiudizi. Input correlati come arresti precedenti possono portare nel punteggio modelli storici di polizia.
In una contea che utilizza COMPAS, un ufficiale giudiziario combina le risposte al questionario dell'imputato con i suoi precedenti penali. Il risultato è un insieme di punteggi decilici da 1 a 10 che compaiono nel verbale inviato al giudice.
Dopo State v. Loomis, un giudice del Wisconsin che riceve un rapporto COMPAS riceve anche ammonizioni scritte. Avvertono che il metodo è brevettato, che i punteggi descrivono gruppi piuttosto che individui e che sono state sollevate domande sulle disparità razziali.
Uno scienziato dei dati che controlla un modello di prestito calcola sia la calibrazione che i tassi di falsi positivi per ciascun gruppo. Come nel caso di COMPAS, l'equalizzazione dell'uno interrompe l'altro perché le tariffe base dei gruppi differiscono.
I ricercatori che hanno seguito lo studio di Dartmouth del 2018 mostrano che un modello semplice che utilizza solo l’età e il numero di condanne precedenti prevede un nuovo arresto con la stessa precisione del punteggio COMPAS completo.
Gli strumenti di valutazione del rischio sono ancora utilizzati in molti contesti preliminari e di condanna degli Stati Uniti, e il dibattito continua. Alcuni gruppi riformisti li sostengono poiché sono più coerenti rispetto al giudizio semplice, mentre altri sostengono che radicano pregiudizi storici. I probabili sviluppi includono requisiti per la convalida locale, la rendicontazione pubblica dei tassi di errore per gruppo e l’accesso per gli imputati al modo in cui vengono prodotti i punteggi, sebbene il ritmo vari a seconda della giurisdizione. Il risultato dell’impossibilità è ora una parte standard dell’insegnamento dell’equità e modella i controlli nelle assunzioni, nei prestiti e nell’assistenza sanitaria. Non stabilisce quale definizione utilizzare. Questa rimane una scelta politica su quali errori una società sia più disposta ad accettare.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) è uno strumento di valutazione del rischio commerciale di Northpointe, ora Equivant, che valuta la probabilità che un imputato possa recidivare. È diventato il caso di studio centrale nell’equità algoritmica dopo che un’indagine di ProPublica del 2016 ha scoperto che i suoi errori cadevano in modo non uniforme in base alla razza. Il dibattito che ne è seguito ha mostrato che le definizioni comuni di equità possono essere matematicamente contrastanti.
ProPublica ha riscontrato un tasso di falsi positivi più elevato per gli imputati neri. Tra le persone che non hanno commesso reati, gli imputati neri avevano quasi il doppio delle probabilità di essere etichettati a rischio più elevato.
Northpointe sosteneva la parità predittiva, chiamata anche calibrazione: un dato punteggio corrisponde a un tasso di recidiva simile indipendentemente dalla razza.
Kleinberg, Mullainathan e Raghavan, e separatamente Chouldechova, hanno dimostrato che il conflitto sorge ogni volta che i tassi di base differiscono e la previsione è imperfetta.
La corte ha consentito l'utilizzo di COMPAS insieme ad altri fattori, con avvertimenti scritti sui suoi limiti, ma ha stabilito che non poteva essere il fattore decisivo.
La razza non è un input. Le disparità possono ancora emergere attraverso input correlati e attraverso differenze nei tassi di base.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Pregiudizio razziale negli algoritmi sanitari
Società