PRŮVODCE společností

COMPAS a zkreslení v algoritmech recidivy

COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) je komerční nástroj pro hodnocení rizik od společnosti Northpointe, nyní Equivant, který hodnotí pravděpodobnost, že se obžalovaný znovu dopustí trestného činu.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost COMPAS a zkreslení v algoritmech recidivy
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Stala se ústřední případovou studií v oblasti algoritmické spravedlnosti poté, co šetření ProPublica v roce 2016 zjistilo, že její chyby padaly nerovnoměrně podle rasy. Debata, která následovala, ukázala, že běžné definice spravedlnosti mohou být matematicky v rozporu.

Hluboký ponor

V květnu 2016 vydala ProPublica „Machine Bias“. Analyzovala skóre COMPAS pro zhruba 7 000 lidí zatčených v Broward County na Floridě v letech 2013 a 2014 a do dvou let prověřila, kdo byl obviněn z nového zločinu. Rasa není vstupem pro COMPAS, který používá kriminální minulost a dotazník. Přesto ProPublica zjistila, že mezi lidmi, kteří se znovu nedopustili trestných činů, bylo u černých obviněných téměř dvakrát vyšší pravděpodobnost, že byli označeni za vyšší riziko než u bílých. Mezi lidmi, kteří se znovu dopustili trestného činu, byli bílí obžalovaní častěji označeni jako méně rizikové. Jednoduše řečeno, míra falešně pozitivních výsledků byla vyšší u černých obžalovaných a míra falešně negativních byla vyšší u bílých obžalovaných. ProPublica také uvedla, že celková přesnost byla skromná, kolem 60 procent. Northpointe odpověděl, že tento nástroj je spravedlivý podle jiného standardu. Na každé úrovni skóre se černí a bílí obžalovaní znovu dopustili podobných trestných činů, takže dané skóre znamenalo totéž bez ohledu na rasu. Tato vlastnost se nazývá kalibrace nebo prediktivní parita. Čísla každé strany byla z velké části správná. Vědci pak ukázali, proč by obojí mohlo mít pravdu. Jon Kleinberg, Sendhil Mullainathan a Manish Raghavan a samostatně Alexandra Chouldechová prokázali, že když mají dvě skupiny různé základní míry výsledku, skóre nelze kalibrovat a také mají stejnou míru falešně pozitivních a falešně negativních výsledků napříč skupinami. Jedinou výjimkou je dokonalý prediktor. Výběr definice spravedlnosti je tedy hodnotovým úsudkem, nikoli technickým detailem. Ve věci State v. Loomis (2016) Nejvyšší soud ve Wisconsinu umožnil soudcům, aby při vynesení rozsudku zvážili COMPAS. Rozhodla, že skóre nemůže být rozhodujícím faktorem, a vyžadovala písemná upozornění, která jej doprovázejí. Studie Dartmouth z roku 2018, kterou provedli Julia Dressel a Hany Farid, zjistila, že netrénovaní online dobrovolníci předpovídali zpětný chod přibližně stejně přesně jako COMPAS. Obvyklá mylná představa je, že vynechání rasy odstraňuje zaujatost. Korelované vstupy, jako jsou předchozí zatčení, mohou do skóre nést historické policejní vzorce.

Real-World Implementace

V kraji, který používá COMPAS, úředník v přípravném řízení kombinuje odpovědi obžalovaného v dotazníku s jeho kriminální minulostí. Výsledkem je sada decilových skóre od 1 do 10, která se objeví ve zprávě zaslané rozhodčímu.

Po State v. Loomis dostává písemné varování také soudce z Wisconsinu, který obdrží zprávu COMPAS. Varují, že metoda je patentovaná, že skóre popisují spíše skupiny než jednotlivce a že byly vzneseny otázky ohledně rasových rozdílů.

Datový vědec, který provádí audit modelu půjček, vypočítává pro každou skupinu jak kalibraci, tak míru falešně pozitivních výsledků. Stejně jako u COMPAS, vyrovnání jednoho ruší druhé, protože základní sazby skupin se liší.

Výzkumníci na základě studie Dartmouth z roku 2018 ukazují, že jednoduchý model využívající pouze věk a počet předchozích odsouzení předpovídá zastavení přibližně stejně přesně jako celé skóre COMPAS.

Budoucnost COMPAS a zkreslení v algoritmech recidivy

Nástroje pro hodnocení rizik se stále používají v mnoha prostředích před soudním řízením a odsouzením v USA a diskuse pokračuje. Některé reformní skupiny je podporují jako konzistentnější než úsudek bez pomoci, zatímco jiné tvrdí, že zakořeňují historickou zaujatost. Pravděpodobný vývoj zahrnuje požadavky na místní ověřování, veřejné hlášení chybovosti podle skupin a přístup žalovaných k tomu, jak se vytvářejí skóre, i když tempo se liší podle jurisdikce. Výsledek nemožnosti je nyní standardní součástí výuky spravedlnosti a formuje audity v náboru, půjčování a zdravotnictví. Neřeší, kterou definici použít. To zůstává politickou volbou ohledně toho, které chyby je společnost ochotnější akceptovat.

Uvedení do praxe

Proč na tom záleží

  • Riziko a bezpečnost. Katastrofické a každodenní škody AI závisí na tom, kdo rozumí rizikům a kdo může jednat.
  • Jasnější rozhodnutí. Veřejná a odborná gramotnost určuje, zda je silná bezpečnostní politika politicky možná.
  • Prorážením humbuku. Jasná vysvětlení snižují zachytávání humbukem, PR v laboratoři a vágní etické divadlo.

Pozor na

  • Zacházení s existenčním rizikem jako sci-fi, zatímco schopnosti kombinují.
  • Matoucí bezpečnost povrchových produktů se zarovnáním pod vysokou autonomií.
  • Neanglické a neodborné publikum ponechává pouze nekvalitní zdroje.

Další kroky

  1. Oddělte rizika poškození produktu, nesprávného použití a ztráty kontroly/nesouladu.
  2. Zeptejte se, jaké důkazy by změnily váš pohled na časové osy a závažnost.
  3. Upřednostňujte primární zdroje a konkrétní hodnocení před marketingovými tvrzeními.
  4. Identifikujte jednu akční cestu: kariéru, politiku, financování nebo dovednosti – nejen povědomí.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the COMPAS and Bias in Recidivism Algorithms quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je COMPAS a zkreslení v algoritmech recidivy?

COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) je komerční nástroj pro hodnocení rizik od společnosti Northpointe, nyní Equivant, který hodnotí pravděpodobnost, že se obžalovaný znovu dopustí trestného činu. Stala se ústřední případovou studií v oblasti algoritmické spravedlnosti poté, co šetření ProPublica v roce 2016 zjistilo, že její chyby padaly nerovnoměrně podle rasy. Debata, která následovala, ukázala, že běžné definice spravedlnosti mohou být matematicky v rozporu.

Co zjistila ProPublica o obžalovaných černých ve srovnání s bílými obžalovanými mezi obžalovanými, kteří se NEopakovali?

ProPublica zjistila vyšší míru falešně pozitivních výsledků u černých obžalovaných. Mezi lidmi, kteří se znovu nedopustili trestného činu, měli černošští obžalovaní téměř dvakrát vyšší pravděpodobnost, že byli označeni za vyšší riziko.

Co bylo jádrem obrany společnosti COMPAS ze strany Northpointe?

Northpointe argumentoval prediktivní paritou, nazývanou také kalibrace: dané skóre odpovídá podobné míře opětovného napadení bez ohledu na rasu.

Za jakých podmínek výsledek nemožnosti říká, že kalibrace a stejná chybovost nemohou všechny platit?

Kleinberg, Mullainathan a Raghavan a samostatně Chouldechová ukázali, že konflikt vzniká vždy, když se základní sazby liší a předpověď je nedokonalá.

Co rozhodl Nejvyšší soud ve Wisconsinu ve věci State v. Loomis?

Soud povolil, aby byl COMPAS používán spolu s dalšími faktory, s písemným upozorněním na jeho limity, ale rozhodl, že to nemůže být rozhodujícím faktorem.

Je rasa vstupem pro COMPAS?

Rasa není vstup. Rozdíly mohou stále vznikat prostřednictvím korelovaných vstupů a rozdílů v základních sazbách.