LegközelebbKövetkező útmutató
Faji elfogultság az egészségügyi algoritmusokban
Társadalom
Társadalom ÚTMUTATÓ
A COMPAS (Corectional Offender Management Profiling for Alternative Sanctions) egy kereskedelmi kockázatelemző eszköz a Northpointe-tól (ma Equivant), amely értékeli, hogy az alperes mekkora valószínűséggel követ el újbóli bűncselekményt.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ez lett az algoritmikus méltányosság központi esettanulmánya, miután egy 2016-os ProPublica vizsgálat megállapította, hogy hibái fajonként egyenlőtlenül estek. Az ezt követő vita megmutatta, hogy a méltányosság közös definíciói matematikailag ütközhetnek egymással.
2016 májusában a ProPublica kiadta a „Machine Bias” c. A floridai Broward megyében 2013-ban és 2014-ben letartóztatott nagyjából 7000 ember COMPAS-pontszámait elemezte, és két éven belül ellenőrizte, hogy kit vádoltak meg új bűncselekménnyel. A rassz nem bemenet a COMPAS-ba, amely bűnügyi előzményeket és kérdőívet használ. Ennek ellenére a ProPublica úgy találta, hogy azok között, akik nem követtek el újra, a fekete vádlottak közel kétszer nagyobb valószínűséggel kerültek magasabb kockázati kategóriába, mint a fehér vádlottak. Azok közül, akik ismételten vétettek, a fehér vádlottak gyakrabban voltak alacsonyabb kockázatúak. Egyszerűen fogalmazva, a hamis pozitív arány magasabb volt a fekete vádlottaknál, és a hamis negatív arány a fehér vádlottaknál. A ProPublica arról is beszámolt, hogy az általános pontosság szerény, 60 százalék körüli. Northpointe azt válaszolta, hogy az eszköz más mércével mérve korrekt. Minden pontszinten a fekete-fehér vádlottak hasonló arányban vétettek újra, így egy adott pontszám ugyanazt jelentette fajtól függetlenül. Ezt a tulajdonságot kalibrációnak vagy prediktív paritásnak nevezik. Mindkét oldal számai nagyrészt helyesek voltak. A kutatók ezután megmutatták, miért lehet mindkettőnek igaza. Jon Kleinberg, Sendhil Mullainathan és Manish Raghavan, valamint külön-külön Alexandra Chouldechova bebizonyította, hogy ha két csoportban eltérő az eredmény alaparánya, akkor a pontszám nem kalibrálható, és a csoportok között azonos álpozitív és álnegatív arányok vannak. Az egyetlen kivétel a tökéletes előrejelző. A méltányossági meghatározás kiválasztása tehát értékítélet, nem pedig technikai részlet. A State kontra Loomis ügyben (2016) a Wisconsini Legfelsőbb Bíróság megengedte a bíráknak, hogy mérlegeljék a COMPAS-t az ítélethozatalkor. Úgy döntött, hogy a pontszám nem lehet döntő tényező, és írásos figyelmeztetéseket írt elő. Julia Dressel és Hany Farid 2018-as Dartmouth-tanulmánya azt találta, hogy a képzetlen online önkéntesek körülbelül olyan pontosan jósolták meg az újbóli letartóztatást, mint a COMPAS. Általános tévhit, hogy a verseny elhagyása megszünteti az elfogultságot. A korrelált bemenetek, például a korábbi letartóztatások történelmi rendészeti mintákat hordozhatnak a pontszámban.
A COMPAS-t használó megyében az előzetest vizsgáló tiszt kombinálja a vádlott kérdőívére adott válaszait a büntetett előéletével. Az eredmény egy 1-től 10-ig terjedő decilispontszám, amely megjelenik a bírónak küldött jelentésben.
A State kontra Loomis után egy wisconsini bíró, aki megkapja a COMPAS jelentést, írásos figyelmeztetést is kap. Figyelmeztetnek, hogy a módszer szabadalmazott, a pontszámok inkább csoportokat írnak le, mint egyéneket, és kérdések merültek fel a faji egyenlőtlenségekkel kapcsolatban.
A hitelezési modellt auditáló adattudós minden csoportra kiszámítja a kalibrációs és a hamis pozitív kamatlábakat. A COMPAS-hoz hasonlóan az egyik kiegyenlítése megtöri a másikat, mivel a csoportok alapkamatai különböznek.
A 2018-as Dartmouth-tanulmányt követő kutatók azt mutatják, hogy egy egyszerű modell, amely csak az életkort és a korábbi elítélések számát használja, körülbelül olyan pontosan jósolja meg az újbóli letartóztatást, mint a teljes COMPAS pontszám.
A kockázatértékelési eszközöket még mindig sok amerikai előzetes és büntetés-végrehajtási körülményben használják, és a vita folytatódik. Egyes reformcsoportok következetesebbnek ítélik meg őket, mint a segítség nélküli ítéletet, míg mások azzal érvelnek, hogy történelmi elfogultságot erősítenek meg. A valószínű fejlemények közé tartoznak a helyi érvényesítés követelményei, a hibaarányok csoportonkénti nyilvános jelentése, valamint az alperesek hozzáférése a pontszámok előállításához, bár a tempó joghatóságonként eltérő. A lehetetlenség eredménye ma már a méltányossági tanítás szokásos része, és meghatározza a munkaerő-felvétel, a hitelezés és az egészségügy auditjait. Nem határozza meg, hogy melyik definíciót használja. Ez továbbra is politikai döntés kérdése, hogy egy társadalom mely hibákat hajlandó elfogadni.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A COMPAS (Corectional Offender Management Profiling for Alternative Sanctions) egy kereskedelmi kockázatelemző eszköz a Northpointe-tól (ma Equivant), amely értékeli, hogy az alperes mekkora valószínűséggel követ el újbóli bűncselekményt. Ez lett az algoritmikus méltányosság központi esettanulmánya, miután egy 2016-os ProPublica vizsgálat megállapította, hogy hibái fajonként egyenlőtlenül estek. Az ezt követő vita megmutatta, hogy a méltányosság közös definíciói matematikailag ütközhetnek egymással.
A ProPublica magasabb hamis pozitív arányt talált a fekete vádlottak esetében. Azok között, akik nem követték el újra a bűnt, a fekete vádlottak közel kétszer nagyobb valószínűséggel kerültek magasabb kockázati kategóriába.
Northpointe a prediktív paritást, más néven kalibrációt állította: egy adott pontszám hasonló visszaesési aránynak felel meg fajtól függetlenül.
Kleinberg, Mullainathan és Raghavan, valamint külön-külön Chouldechova megmutatta, hogy a konfliktus akkor keletkezik, amikor az alapkamat különbözik, és az előrejelzés tökéletlen.
A bíróság engedélyezte a COMPAS használatát más tényezők mellett, írásos figyelmeztetés mellett, de úgy ítélte meg, hogy ez nem lehet döntő tényező.
A verseny nem bemenet. Az egyenlőtlenségek továbbra is felmerülhetnek a korrelált inputok és az alapkamat különbségei miatt.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Faji elfogultság az egészségügyi algoritmusokban
Társadalom