Társadalom ÚTMUTATÓ

COMPAS és elfogultság a bűnismétlési algoritmusokban

A COMPAS (Corectional Offender Management Profiling for Alternative Sanctions) egy kereskedelmi kockázatelemző eszköz a Northpointe-tól (ma Equivant), amely értékeli, hogy az alperes mekkora valószínűséggel követ el újbóli bűncselekményt.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A COMPAS jövője és az elfogultság a bűnismétlési algoritmusokban
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez lett az algoritmikus méltányosság központi esettanulmánya, miután egy 2016-os ProPublica vizsgálat megállapította, hogy hibái fajonként egyenlőtlenül estek. Az ezt követő vita megmutatta, hogy a méltányosság közös definíciói matematikailag ütközhetnek egymással.

Mély merülés

2016 májusában a ProPublica kiadta a „Machine Bias” c. A floridai Broward megyében 2013-ban és 2014-ben letartóztatott nagyjából 7000 ember COMPAS-pontszámait elemezte, és két éven belül ellenőrizte, hogy kit vádoltak meg új bűncselekménnyel. A rassz nem bemenet a COMPAS-ba, amely bűnügyi előzményeket és kérdőívet használ. Ennek ellenére a ProPublica úgy találta, hogy azok között, akik nem követtek el újra, a fekete vádlottak közel kétszer nagyobb valószínűséggel kerültek magasabb kockázati kategóriába, mint a fehér vádlottak. Azok közül, akik ismételten vétettek, a fehér vádlottak gyakrabban voltak alacsonyabb kockázatúak. Egyszerűen fogalmazva, a hamis pozitív arány magasabb volt a fekete vádlottaknál, és a hamis negatív arány a fehér vádlottaknál. A ProPublica arról is beszámolt, hogy az általános pontosság szerény, 60 százalék körüli. Northpointe azt válaszolta, hogy az eszköz más mércével mérve korrekt. Minden pontszinten a fekete-fehér vádlottak hasonló arányban vétettek újra, így egy adott pontszám ugyanazt jelentette fajtól függetlenül. Ezt a tulajdonságot kalibrációnak vagy prediktív paritásnak nevezik. Mindkét oldal számai nagyrészt helyesek voltak. A kutatók ezután megmutatták, miért lehet mindkettőnek igaza. Jon Kleinberg, Sendhil Mullainathan és Manish Raghavan, valamint külön-külön Alexandra Chouldechova bebizonyította, hogy ha két csoportban eltérő az eredmény alaparánya, akkor a pontszám nem kalibrálható, és a csoportok között azonos álpozitív és álnegatív arányok vannak. Az egyetlen kivétel a tökéletes előrejelző. A méltányossági meghatározás kiválasztása tehát értékítélet, nem pedig technikai részlet. A State kontra Loomis ügyben (2016) a Wisconsini Legfelsőbb Bíróság megengedte a bíráknak, hogy mérlegeljék a COMPAS-t az ítélethozatalkor. Úgy döntött, hogy a pontszám nem lehet döntő tényező, és írásos figyelmeztetéseket írt elő. Julia Dressel és Hany Farid 2018-as Dartmouth-tanulmánya azt találta, hogy a képzetlen online önkéntesek körülbelül olyan pontosan jósolták meg az újbóli letartóztatást, mint a COMPAS. Általános tévhit, hogy a verseny elhagyása megszünteti az elfogultságot. A korrelált bemenetek, például a korábbi letartóztatások történelmi rendészeti mintákat hordozhatnak a pontszámban.

Valós megvalósítás

A COMPAS-t használó megyében az előzetest vizsgáló tiszt kombinálja a vádlott kérdőívére adott válaszait a büntetett előéletével. Az eredmény egy 1-től 10-ig terjedő decilispontszám, amely megjelenik a bírónak küldött jelentésben.

A State kontra Loomis után egy wisconsini bíró, aki megkapja a COMPAS jelentést, írásos figyelmeztetést is kap. Figyelmeztetnek, hogy a módszer szabadalmazott, a pontszámok inkább csoportokat írnak le, mint egyéneket, és kérdések merültek fel a faji egyenlőtlenségekkel kapcsolatban.

A hitelezési modellt auditáló adattudós minden csoportra kiszámítja a kalibrációs és a hamis pozitív kamatlábakat. A COMPAS-hoz hasonlóan az egyik kiegyenlítése megtöri a másikat, mivel a csoportok alapkamatai különböznek.

A 2018-as Dartmouth-tanulmányt követő kutatók azt mutatják, hogy egy egyszerű modell, amely csak az életkort és a korábbi elítélések számát használja, körülbelül olyan pontosan jósolja meg az újbóli letartóztatást, mint a teljes COMPAS pontszám.

A COMPAS jövője és az elfogultság a bűnismétlési algoritmusokban

A kockázatértékelési eszközöket még mindig sok amerikai előzetes és büntetés-végrehajtási körülményben használják, és a vita folytatódik. Egyes reformcsoportok következetesebbnek ítélik meg őket, mint a segítség nélküli ítéletet, míg mások azzal érvelnek, hogy történelmi elfogultságot erősítenek meg. A valószínű fejlemények közé tartoznak a helyi érvényesítés követelményei, a hibaarányok csoportonkénti nyilvános jelentése, valamint az alperesek hozzáférése a pontszámok előállításához, bár a tempó joghatóságonként eltérő. A lehetetlenség eredménye ma már a méltányossági tanítás szokásos része, és meghatározza a munkaerő-felvétel, a hitelezés és az egészségügy auditjait. Nem határozza meg, hogy melyik definíciót használja. Ez továbbra is politikai döntés kérdése, hogy egy társadalom mely hibákat hajlandó elfogadni.

A gyakorlatba ültetés

Miért számít

  • Kockázat és biztonság. A katasztrofális és a mindennapi mesterséges intelligencia okozta károk egyaránt attól függnek, hogy ki érti a kockázatokat, és ki tud cselekedni.
  • Tisztább döntések. A közéleti és szakmai műveltség határozza meg, hogy politikailag lehetséges-e az erős biztonsági politika.
  • Átvágva a felhajtáson. A világos magyarázatok csökkentik a hírverés, a laboratóriumi PR és a homályos etikai színház általi elkapását.

Vigyázz

  • Az egzisztenciális kockázat sci-fiként való kezelése, miközben a képesség összetett.
  • Zavaros felületi termékbiztonság a nagy autonómia melletti igazítással.
  • A nem angol nyelvű és nem szakértő közönségnek csak rossz minőségű forrásokat kell hagynia.

Következő lépések

  1. Különítse el a termékkárok, a visszaélések és az ellenőrzés elvesztésének/hibás beállításának kockázatait.
  2. Kérdezd meg, milyen bizonyítékok változtatnák meg az idővonalakról és a súlyosságról alkotott nézetedet.
  3. Részesítse előnyben az elsődleges forrásokat és a konkrét értékeléseket a marketinges állításokkal szemben.
  4. Határozzon meg egy cselekvési utat: karrier, politika, finanszírozás vagy készségek – nem csak a tudatosság.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the COMPAS and Bias in Recidivism Algorithms quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi a COMPAS és az elfogultság a bűnismétlési algoritmusokban?

A COMPAS (Corectional Offender Management Profiling for Alternative Sanctions) egy kereskedelmi kockázatelemző eszköz a Northpointe-tól (ma Equivant), amely értékeli, hogy az alperes mekkora valószínűséggel követ el újbóli bűncselekményt. Ez lett az algoritmikus méltányosság központi esettanulmánya, miután egy 2016-os ProPublica vizsgálat megállapította, hogy hibái fajonként egyenlőtlenül estek. Az ezt követő vita megmutatta, hogy a méltányosság közös definíciói matematikailag ütközhetnek egymással.

Mit talált a ProPublica azoknál a vádlottaknál, akik NEM vétettek újra, a fekete vádlottakról a fehér vádlottakhoz képest?

A ProPublica magasabb hamis pozitív arányt talált a fekete vádlottak esetében. Azok között, akik nem követték el újra a bűnt, a fekete vádlottak közel kétszer nagyobb valószínűséggel kerültek magasabb kockázati kategóriába.

Mi volt Northpointe COMPAS elleni védelmének lényege?

Northpointe a prediktív paritást, más néven kalibrációt állította: egy adott pontszám hasonló visszaesési aránynak felel meg fajtól függetlenül.

Milyen feltétel esetén a lehetetlenségi eredmény azt mondja, hogy a kalibráció és az egyenlő hibaarányok nem mind érvényesek?

Kleinberg, Mullainathan és Raghavan, valamint külön-külön Chouldechova megmutatta, hogy a konfliktus akkor keletkezik, amikor az alapkamat különbözik, és az előrejelzés tökéletlen.

Mit mondott a Wisconsini Legfelsőbb Bíróság a State kontra Loomis ügyben?

A bíróság engedélyezte a COMPAS használatát más tényezők mellett, írásos figyelmeztetés mellett, de úgy ítélte meg, hogy ez nem lehet döntő tényező.

A verseny bemenet a COMPAS-ba?

A verseny nem bemenet. Az egyenlőtlenségek továbbra is felmerülhetnek a korrelált inputok és az alapkamat különbségei miatt.