DalšíDalší průvodce
Rasová předpojatost v algoritmech zdravotní péče
Společnost
PRŮVODCE společností
COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) je komerční nástroj pro hodnocení rizik od společnosti Northpointe, nyní Equivant, který hodnotí pravděpodobnost, že se obžalovaný znovu dopustí trestného činu.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Stala se ústřední případovou studií v oblasti algoritmické spravedlnosti poté, co šetření ProPublica v roce 2016 zjistilo, že její chyby padaly nerovnoměrně podle rasy. Debata, která následovala, ukázala, že běžné definice spravedlnosti mohou být matematicky v rozporu.
V květnu 2016 vydala ProPublica „Machine Bias“. Analyzovala skóre COMPAS pro zhruba 7 000 lidí zatčených v Broward County na Floridě v letech 2013 a 2014 a do dvou let prověřila, kdo byl obviněn z nového zločinu. Rasa není vstupem pro COMPAS, který používá kriminální minulost a dotazník. Přesto ProPublica zjistila, že mezi lidmi, kteří se znovu nedopustili trestných činů, bylo u černých obviněných téměř dvakrát vyšší pravděpodobnost, že byli označeni za vyšší riziko než u bílých. Mezi lidmi, kteří se znovu dopustili trestného činu, byli bílí obžalovaní častěji označeni jako méně rizikové. Jednoduše řečeno, míra falešně pozitivních výsledků byla vyšší u černých obžalovaných a míra falešně negativních byla vyšší u bílých obžalovaných. ProPublica také uvedla, že celková přesnost byla skromná, kolem 60 procent. Northpointe odpověděl, že tento nástroj je spravedlivý podle jiného standardu. Na každé úrovni skóre se černí a bílí obžalovaní znovu dopustili podobných trestných činů, takže dané skóre znamenalo totéž bez ohledu na rasu. Tato vlastnost se nazývá kalibrace nebo prediktivní parita. Čísla každé strany byla z velké části správná. Vědci pak ukázali, proč by obojí mohlo mít pravdu. Jon Kleinberg, Sendhil Mullainathan a Manish Raghavan a samostatně Alexandra Chouldechová prokázali, že když mají dvě skupiny různé základní míry výsledku, skóre nelze kalibrovat a také mají stejnou míru falešně pozitivních a falešně negativních výsledků napříč skupinami. Jedinou výjimkou je dokonalý prediktor. Výběr definice spravedlnosti je tedy hodnotovým úsudkem, nikoli technickým detailem. Ve věci State v. Loomis (2016) Nejvyšší soud ve Wisconsinu umožnil soudcům, aby při vynesení rozsudku zvážili COMPAS. Rozhodla, že skóre nemůže být rozhodujícím faktorem, a vyžadovala písemná upozornění, která jej doprovázejí. Studie Dartmouth z roku 2018, kterou provedli Julia Dressel a Hany Farid, zjistila, že netrénovaní online dobrovolníci předpovídali zpětný chod přibližně stejně přesně jako COMPAS. Obvyklá mylná představa je, že vynechání rasy odstraňuje zaujatost. Korelované vstupy, jako jsou předchozí zatčení, mohou do skóre nést historické policejní vzorce.
V kraji, který používá COMPAS, úředník v přípravném řízení kombinuje odpovědi obžalovaného v dotazníku s jeho kriminální minulostí. Výsledkem je sada decilových skóre od 1 do 10, která se objeví ve zprávě zaslané rozhodčímu.
Po State v. Loomis dostává písemné varování také soudce z Wisconsinu, který obdrží zprávu COMPAS. Varují, že metoda je patentovaná, že skóre popisují spíše skupiny než jednotlivce a že byly vzneseny otázky ohledně rasových rozdílů.
Datový vědec, který provádí audit modelu půjček, vypočítává pro každou skupinu jak kalibraci, tak míru falešně pozitivních výsledků. Stejně jako u COMPAS, vyrovnání jednoho ruší druhé, protože základní sazby skupin se liší.
Výzkumníci na základě studie Dartmouth z roku 2018 ukazují, že jednoduchý model využívající pouze věk a počet předchozích odsouzení předpovídá zastavení přibližně stejně přesně jako celé skóre COMPAS.
Nástroje pro hodnocení rizik se stále používají v mnoha prostředích před soudním řízením a odsouzením v USA a diskuse pokračuje. Některé reformní skupiny je podporují jako konzistentnější než úsudek bez pomoci, zatímco jiné tvrdí, že zakořeňují historickou zaujatost. Pravděpodobný vývoj zahrnuje požadavky na místní ověřování, veřejné hlášení chybovosti podle skupin a přístup žalovaných k tomu, jak se vytvářejí skóre, i když tempo se liší podle jurisdikce. Výsledek nemožnosti je nyní standardní součástí výuky spravedlnosti a formuje audity v náboru, půjčování a zdravotnictví. Neřeší, kterou definici použít. To zůstává politickou volbou ohledně toho, které chyby je společnost ochotnější akceptovat.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) je komerční nástroj pro hodnocení rizik od společnosti Northpointe, nyní Equivant, který hodnotí pravděpodobnost, že se obžalovaný znovu dopustí trestného činu. Stala se ústřední případovou studií v oblasti algoritmické spravedlnosti poté, co šetření ProPublica v roce 2016 zjistilo, že její chyby padaly nerovnoměrně podle rasy. Debata, která následovala, ukázala, že běžné definice spravedlnosti mohou být matematicky v rozporu.
ProPublica zjistila vyšší míru falešně pozitivních výsledků u černých obžalovaných. Mezi lidmi, kteří se znovu nedopustili trestného činu, měli černošští obžalovaní téměř dvakrát vyšší pravděpodobnost, že byli označeni za vyšší riziko.
Northpointe argumentoval prediktivní paritou, nazývanou také kalibrace: dané skóre odpovídá podobné míře opětovného napadení bez ohledu na rasu.
Kleinberg, Mullainathan a Raghavan a samostatně Chouldechová ukázali, že konflikt vzniká vždy, když se základní sazby liší a předpověď je nedokonalá.
Soud povolil, aby byl COMPAS používán spolu s dalšími faktory, s písemným upozorněním na jeho limity, ale rozhodl, že to nemůže být rozhodujícím faktorem.
Rasa není vstup. Rozdíly mohou stále vznikat prostřednictvím korelovaných vstupů a rozdílů v základních sazbách.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Rasová předpojatost v algoritmech zdravotní péče
Společnost