NästaNästa guide
Genus Shades and Facial Recognition Bias Audits
Samhälle
SamhällsGUIDE
COMPAS och Bias i återfallsalgoritmer
COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) är ett kommersiellt riskbedömningsverktyg från Northpointe, numera Equivant, som bedömer hur sannolikt en åtalad är att begå återfall.
På denna sida4 min läsning
Översikt
Det blev den centrala fallstudien i algoritmisk rättvisa efter att en ProPublica-undersökning 2016 fann att dess fel föll ojämnt efter ras. Debatten som följde visade att vanliga definitioner av rättvisa kan matematiskt komma i konflikt.
Djupdykning
I maj 2016 publicerade ProPublica "Machine Bias." Den analyserade COMPAS-poäng för ungefär 7 000 personer som arresterades i Broward County, Florida, 2013 och 2014, och kontrollerade vem som anklagades för ett nytt brott inom två år. Ras är inte en input till COMPAS, som använder sig av kriminalhistoria och ett frågeformulär. Trots det fann ProPublica att bland personer som inte gjorde återfall, var det nästan dubbelt så stor risk att svarta åtalade som vita åtalade hade märkts som högre risk. Bland personer som gjorde återfall märktes vita åtalade oftare som lägre risk. Enkelt uttryckt var falska positiva siffror högre för svarta svarande och falska negativa siffror var högre för vita svarande. ProPublica rapporterade också att den totala noggrannheten var blygsam, runt 60 procent. Northpointe svarade att verktyget var rättvist enligt en annan standard. På varje poängnivå begick svarta och vita tilltalade återfall i liknande takt, så en given poäng betydde samma sak oavsett ras. Denna egenskap kallas kalibrering eller prediktiv paritet. Varje sidas siffror var i stort sett korrekta. Forskare visade sedan varför båda kunde ha rätt. Jon Kleinberg, Sendhil Mullainathan och Manish Raghavan, och separat Alexandra Chouldechova, bevisade att när två grupper har olika basfrekvens för resultatet, kan en poäng inte kalibreras och har också lika falska positiva och falska negativa frekvenser över grupperna. Det enda undantaget är en perfekt prediktor. Så att välja en rättvisedefinition är en värdebedömning, inte en teknisk detalj. I State v. Loomis (2016) tillät Wisconsin Supreme Court domare att överväga COMPAS vid domen. Den slog fast att poängen inte kunde vara den avgörande faktorn och krävde skriftliga varningar för att åtfölja den. En Dartmouth-studie från 2018 av Julia Dressel och Hany Farid fann att outbildade onlinevolontärer förutspådde omfångst ungefär lika exakt som COMPAS. En vanlig missuppfattning är att om man lämnar ras utanför tar man bort partiskhet. Korrelerade indata som tidigare arresteringar kan föra in historiska polismönster i poängen.
Strategisk inverkan
Risk och säkerhet
Katastrofala och vardagliga AI-skador beror båda på vem som förstår riskerna och vem som kan agera.
Tydligare beslut
Offentlig och professionell läskunnighet formar om en stark säkerhetspolitik är politiskt möjlig.
Skär igenom hypen
Tydliga förklaringar minskar fångst av hype, labb-PR och vag etikteater.
Framtiden för COMPAS och bias i recidivalgoritmer
Riskbedömningsverktyg används fortfarande i många amerikanska förrätts- och dömande miljöer, och debatten fortsätter. Vissa reformgrupper stöder dem som mer konsekventa än bedömningar utan hjälp, medan andra hävdar att de befäster historisk fördom. Sannolik utveckling inkluderar krav på lokal validering, offentlig rapportering av felfrekvenser per grupp och tillgång för svarande till hur poäng tas fram, även om takten varierar beroende på jurisdiktion. Omöjlighetsresultatet är nu en standard del av rättviseundervisningen och formar revisioner inom uthyrning, utlåning och sjukvård. Det bestämmer inte vilken definition som ska användas. Det förblir ett politiskt val om vilka fel ett samhälle är mer villigt att acceptera.
Verklig implementering
I ett län som använder COMPAS, kombinerar en förundersökningstjänsteman svaren på en åtalad frågeformulär med sin kriminella historia. Resultatet är en uppsättning decilpoäng från 1 till 10 som visas i rapporten som skickas till domaren.
Efter State v. Loomis får en domare i Wisconsin som får en COMPAS-rapport också skriftliga varningar. De varnar för att metoden är proprietär, att poängen beskriver grupper snarare än individer och att frågor har väckts om rasskillnader.
En dataforskare som granskar en utlåningsmodell beräknar både kalibrerings- och falska positiva satser för varje grupp. Liksom med COMPAS bryter utjämning av den ena den andra eftersom gruppernas basräntor skiljer sig åt.
Forskare som följer 2018 års Dartmouth-studie visar att en enkel modell som endast använder ålder och antal tidigare fällande domar förutsäger återgripanden ungefär lika exakt som hela COMPAS-poängen.
Risker & skyddsräcken
Behandling av existentiell risk som sci-fi medan förmåga sammansatta.
Förvirrande ytproduktsäkerhet med inriktning under hög autonomi.
Lämnar icke-engelska och icke-experta publik med endast lågkvalitativa källor.
Färdplan för genomförande
Separata risker för produktskador, felaktig användning och förlust av kontroll/feljustering.
Fråga vilka bevis som skulle ändra din syn på tidslinjer och svårighetsgrad.
Föredrar primära källor och konkreta utvärderingar framför marknadsföringspåståenden.
Identifiera en handlingsväg: karriär, policy, finansiering eller färdigheter – inte bara medvetenhet.
Fortsätt utforska
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the COMPAS and Bias in Recidivism Algorithms quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Vanliga frågor
Vad är COMPAS och bias i recidivalgoritmer?
COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) är ett kommersiellt riskbedömningsverktyg från Northpointe, numera Equivant, som bedömer hur sannolikt en åtalad är att begå återfall. Det blev den centrala fallstudien i algoritmisk rättvisa efter att en ProPublica-undersökning 2016 fann att dess fel föll ojämnt efter ras. Debatten som följde visade att vanliga definitioner av rättvisa kan matematiskt komma i konflikt.
Vad fann ProPublica om svarta åtalade bland åtalade som INTE gjorde återfall i brott jämfört med vita åtalade?
ProPublica fann en högre falsk positiv frekvens för svarta svarande. Bland personer som inte gjorde återfall var det nästan dubbelt så stor sannolikhet att svarta åtalade hade märkts som högre risk.
Vad var kärnan i Northpointes försvar av COMPAS?
Northpointe argumenterade för prediktiv paritet, även kallad kalibrering: en given poäng motsvarar en liknande återfallsfrekvens oavsett ras.
Under vilka förutsättningar säger omöjlighetsresultatet att kalibrering och lika felfrekvenser inte kan hålla?
Kleinberg, Mullainathan och Raghavan, och separat Chouldechova, visade att konflikten uppstår när basräntorna skiljer sig och förutsägelsen är ofullkomlig.
Vad höll Wisconsins högsta domstol i State v. Loomis?
Domstolen tillät att COMPAS skulle användas tillsammans med andra faktorer, med skriftliga varningar om dess gränser, men slog fast att det inte kunde vara den avgörande faktorn.
Är ras en input till COMPAS?
Ras är inte en ingång. Skillnader kan fortfarande uppstå genom korrelerade indata och genom skillnader i basräntor.
Fortsätt lära dig
Relaterade guider
Fler guider har valts för detta ämne