GUIDA della Società

COMPAS e Bias negli algoritmi di recidiva

COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) è uno strumento di valutazione del rischio commerciale di Northpointe, ora Equivant, che valuta la probabilità che un imputato possa recidivare.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro di COMPAS e il bias negli algoritmi di recidiva
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

È diventato il caso di studio centrale nell’equità algoritmica dopo che un’indagine di ProPublica del 2016 ha scoperto che i suoi errori cadevano in modo non uniforme in base alla razza. Il dibattito che ne è seguito ha mostrato che le definizioni comuni di equità possono essere matematicamente contrastanti.

Immersione profonda

Nel maggio 2016, ProPublica ha pubblicato "Machine Bias". Ha analizzato i punteggi COMPAS di circa 7.000 persone arrestate nella contea di Broward, in Florida, nel 2013 e nel 2014, e ha controllato chi è stato accusato di un nuovo crimine entro due anni. La razza non è un input per COMPAS, che utilizza precedenti penali e un questionario. Anche così, ProPublica ha scoperto che tra le persone che non hanno commesso reati recidivi, gli imputati neri avevano quasi il doppio delle probabilità rispetto agli imputati bianchi di essere etichettati a rischio più elevato. Tra le persone che hanno commesso recidivi, gli imputati bianchi sono stati più spesso etichettati a basso rischio. In parole povere, i tassi di falsi positivi erano più alti per gli imputati neri e i tassi di falsi negativi erano più alti per gli imputati bianchi. ProPublica ha anche riferito che la precisione complessiva era modesta, circa il 60%. Northpointe ha risposto che lo strumento era corretto secondo uno standard diverso. Ad ogni livello di punteggio, gli imputati bianchi e neri hanno commesso nuovamente reati con percentuali simili, quindi un dato punteggio significava la stessa cosa indipendentemente dalla razza. Questa proprietà è chiamata calibrazione o parità predittiva. I numeri di ciascuna parte erano in gran parte corretti. I ricercatori hanno poi dimostrato perché entrambi potrebbero avere ragione. Jon Kleinberg, Sendhil Mullainathan e Manish Raghavan, e separatamente Alexandra Chouldechova, hanno dimostrato che quando due gruppi hanno tassi di base diversi del risultato, un punteggio non può essere calibrato e hanno anche tassi uguali di falsi positivi e falsi negativi tra i gruppi. L'unica eccezione è un predittore perfetto. Quindi scegliere una definizione di equità è un giudizio di valore, non un dettaglio tecnico. Nel caso State v. Loomis (2016), la Corte Suprema del Wisconsin ha consentito ai giudici di prendere in considerazione COMPAS durante la sentenza. Ha stabilito che il punteggio non poteva essere il fattore decisivo e ha richiesto ammonizioni scritte per accompagnarlo. Uno studio di Dartmouth del 2018 condotto da Julia Dressel e Hany Farid ha rilevato che i volontari online non addestrati hanno previsto il nuovo arresto con la stessa precisione di COMPAS. Un malinteso comune è che escludere la razza elimini i pregiudizi. Input correlati come arresti precedenti possono portare nel punteggio modelli storici di polizia.

Implementazione nel mondo reale

In una contea che utilizza COMPAS, un ufficiale giudiziario combina le risposte al questionario dell'imputato con i suoi precedenti penali. Il risultato è un insieme di punteggi decilici da 1 a 10 che compaiono nel verbale inviato al giudice.

Dopo State v. Loomis, un giudice del Wisconsin che riceve un rapporto COMPAS riceve anche ammonizioni scritte. Avvertono che il metodo è brevettato, che i punteggi descrivono gruppi piuttosto che individui e che sono state sollevate domande sulle disparità razziali.

Uno scienziato dei dati che controlla un modello di prestito calcola sia la calibrazione che i tassi di falsi positivi per ciascun gruppo. Come nel caso di COMPAS, l'equalizzazione dell'uno interrompe l'altro perché le tariffe base dei gruppi differiscono.

I ricercatori che hanno seguito lo studio di Dartmouth del 2018 mostrano che un modello semplice che utilizza solo l’età e il numero di condanne precedenti prevede un nuovo arresto con la stessa precisione del punteggio COMPAS completo.

Il futuro di COMPAS e il bias negli algoritmi di recidiva

Gli strumenti di valutazione del rischio sono ancora utilizzati in molti contesti preliminari e di condanna degli Stati Uniti, e il dibattito continua. Alcuni gruppi riformisti li sostengono poiché sono più coerenti rispetto al giudizio semplice, mentre altri sostengono che radicano pregiudizi storici. I probabili sviluppi includono requisiti per la convalida locale, la rendicontazione pubblica dei tassi di errore per gruppo e l’accesso per gli imputati al modo in cui vengono prodotti i punteggi, sebbene il ritmo vari a seconda della giurisdizione. Il risultato dell’impossibilità è ora una parte standard dell’insegnamento dell’equità e modella i controlli nelle assunzioni, nei prestiti e nell’assistenza sanitaria. Non stabilisce quale definizione utilizzare. Questa rimane una scelta politica su quali errori una società sia più disposta ad accettare.

Metterlo in pratica

Perché è importante

  • Rischio e sicurezza. I danni catastrofici e quotidiani dell’IA dipendono entrambi da chi comprende i rischi e da chi può agire.
  • Decisioni più chiare. L’alfabetizzazione pubblica e professionale determina la possibilità politica di una forte politica di sicurezza.
  • Tagliare il clamore. Spiegazioni chiare riducono la cattura da parte di montature pubblicitarie, PR di laboratorio e vaghi teatrini etici.

Attenzione

  • Trattare il rischio esistenziale come fantascienza mentre le capacità si aggravano.
  • Confondere la sicurezza del prodotto superficiale con l'allineamento in condizioni di elevata autonomia.
  • Lasciando il pubblico non inglese e non esperto solo con fonti di bassa qualità.

Prossimi passi

  1. Separare i rischi di danni al prodotto, uso improprio e perdita di controllo/disallineamento.
  2. Chiedi quali prove cambierebbero la tua opinione sulle tempistiche e sulla gravità.
  3. Preferire fonti primarie e valutazioni concrete alle affermazioni di marketing.
  4. Identifica un percorso d’azione: carriera, politica, finanziamenti o competenze, non solo consapevolezza.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the COMPAS and Bias in Recidivism Algorithms quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cosa sono COMPAS e Bias negli algoritmi di recidiva?

COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) è uno strumento di valutazione del rischio commerciale di Northpointe, ora Equivant, che valuta la probabilità che un imputato possa recidivare. È diventato il caso di studio centrale nell’equità algoritmica dopo che un’indagine di ProPublica del 2016 ha scoperto che i suoi errori cadevano in modo non uniforme in base alla razza. Il dibattito che ne è seguito ha mostrato che le definizioni comuni di equità possono essere matematicamente contrastanti.

Tra gli imputati che NON hanno commesso reati recidivi, cosa ha scoperto ProPublica sugli imputati neri rispetto agli imputati bianchi?

ProPublica ha riscontrato un tasso di falsi positivi più elevato per gli imputati neri. Tra le persone che non hanno commesso reati, gli imputati neri avevano quasi il doppio delle probabilità di essere etichettati a rischio più elevato.

Qual è stato il fulcro della difesa di COMPAS da parte di Northpointe?

Northpointe sosteneva la parità predittiva, chiamata anche calibrazione: un dato punteggio corrisponde a un tasso di recidiva simile indipendentemente dalla razza.

In quali condizioni il risultato di impossibilità dice che la calibrazione e gli stessi tassi di errore non possono essere validi?

Kleinberg, Mullainathan e Raghavan, e separatamente Chouldechova, hanno dimostrato che il conflitto sorge ogni volta che i tassi di base differiscono e la previsione è imperfetta.

Cosa ha affermato la Corte Suprema del Wisconsin nel caso State v. Loomis?

La corte ha consentito l'utilizzo di COMPAS insieme ad altri fattori, con avvertimenti scritti sui suoi limiti, ma ha stabilito che non poteva essere il fattore decisivo.

La razza è un input per COMPAS?

La razza non è un input. Le disparità possono ancora emergere attraverso input correlati e attraverso differenze nei tassi di base.