Társadalom ÚTMUTATÓ

A nemi árnyalatok és az arcfelismerési torzítás ellenőrzése

A Gender Shades Joy Buolamwini és Timnit Gebru 2018-as tanulmánya, amely az IBM, a Microsoft és a Face++ kereskedelmi arcelemző rendszereit vizsgálta.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A nemi árnyalatok és az arcfelismerési torzítások jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Azt találta, hogy a nemek szerinti besorolásuk sokkal kevésbé volt pontos a sötétebb bőrű nők esetében, mint a világosabb bőrű férfiak esetében. A tanulmány azért fontos, mert a rejtett mesterségesintelligencia-hibák feltárásának szokásos módszerévé tette az interszekcionális auditálást, amely az eredményeket kombinált attribútumok szerint bontja le, nem pedig egyenként.

Mély merülés

Joy Buolamwini, aki akkor az MIT Media Labban dolgozott, észrevette, hogy az arcfelismerő szoftver nem regisztrálja az arcát, amíg fel nem vette a fehér maszkot. Timnit Gebruval közösen strukturált könyvvizsgálatot tervezett, amelyet a méltányosság, elszámoltathatóság és átláthatóság 2018-as konferenciáján tett közzé. A meglévő benchmarkokat a világosabb bőrű férfiak uralták, ezért megépítették a sajátjukat, a Pilot Parliaments Benchmark-ot. Három afrikai és három európai ország parlamenti képviselőinek 1270 képét tartalmazza, bináris nem és bőrtípus szerint a bőrgyógyász Fitzpatrick skáláján. Tesztelték az IBM, a Microsoft és a Face++ nemek szerinti besorolási szolgáltatásait. Mindhárom jobban teljesített a férfiakon, mint a nőkön, és jobban a világosabb bőrön, mint a sötétebb bőrön. A legrosszabb eredmények ott mutatkoztak, ahol a kettő átfedésben volt. A sötétebb bőrű nők hibaaránya elérte a 35 százalékot a legrosszabb rendszerben, szemben a világosabb bőrű férfiak 1 százalékával. Egyetlen általános pontossági adat takarta el ezt a hiányt. Inioluwa Deborah Raji és Buolamwini 2019-es nyomon követése, az „Actionable Auditing”, megállapította, hogy az ellenőrzött vállalatok csökkentették a különbségeket, miután nyilvánosan megnevezték őket. A nem auditált szállítók, köztük a Amazon hasonló eltéréseket mutattak. A Amazon vitatta a módszertant. Gyakori tévhit, hogy a Gender Shades a rendőrség által használt arc azonosítást mérte. Nemek szerinti besorolást mért. Az azonosításra vonatkozó bizonyítékok a NIST 2019-es demográfiai hatásokról szóló jelentéséből származnak, amely körülbelül 200 algoritmust tesztelt. Sokaknál magasabb volt a hamis pozitív arány bizonyos csoportoknál, beleértve az afrikai és kelet-ázsiai arcokat is, gyakran nagy tényezők miatt, míg a legpontosabb algoritmusok sokkal kisebb eltéréseket mutattak. Valódi kár következett. Robert Williamst, Nijeer Parkst és Porcha Woodruffot, mind feketéket, jogtalanul tartóztatták le arcfelismerés nyomán. 2020 júniusában az IBM bejelentette, hogy elhagyja az általános célú arcfelismerési üzletágat, a Amazon szünetelteti a Rekognition rendőrségi használatát, a Microsoft pedig azt mondta, hogy addig nem adja el az amerikai rendőrségnek, amíg a szövetségi törvény hatályba nem lép.

Valós megvalósítás

Egy termékcsoport külön jelenti az arcellenőrzés pontosságát a sötétebb bőrű nők, a sötétebb bőrű férfiak, a világosabb bőrű nők és a világosabb bőrű férfiak esetében, ahelyett, hogy egyetlen címsorszámot tennének közzé, amely elrejti a hibás alcsoportot.

Robert Williamst, egy fekete férfit Detroitban 2020-ban tartóztatták le, miután az arcfelismerés a jogosítványon szereplő fényképét és a bolti lopásról készült felvételt párosította. A vádakat ejtették, és egy későbbi megegyezés megváltoztatta a detroiti rendőrség ilyen gyufák használatára vonatkozó szabályait.

A szállító jóváhagyása előtt egy városi beszerzési iroda ellenőrzi a NIST demográfiai teszteredményeit a kínált konkrét algoritmusverzióra vonatkozóan, mivel a hibakülönbségek az algoritmusok között igen eltérőek.

Egy kutató a Pilot Parliaments Benchmark megközelítést követve bőrtípus és nem szerint kiegyensúlyozott tesztkészletet készít, hogy az új arcmodell megjelenése előtt ellenőrizhesse a hiányosságokat.

A nemi árnyalatok és az arcfelismerési torzítások jövője

Az arcfelismerés átlagosan pontosabb lett, és a NIST folyamatos tesztjei azt mutatják, hogy a demográfiai különbségek a vezető algoritmusok esetében csökkennek, bár nem tűnnek el, és sok más esetében továbbra is nagyok maradnak. A politika továbbra is töredezett. Egyes amerikai városok korlátozzák a kormányzati felhasználást, az EU AI-törvénye élesen korlátozza a rendőrség valós idejű távoli biometrikus azonosítását a nyilvános helyeken, és több gyártó visszavont egyes termékeket. A jogsértő letartóztatási ügyek továbbra is arra késztetik a rendőrséget, hogy a mérkőzéseket csak jelzésként kezeljék. A Gender Shades módszert, amely a lebontott eredményeket publikálja és a szállítókat nevezi meg, ma már széles körben használják más mesterséges intelligencia-rendszerek, köztük nyelv- és képgenerátorok auditálására.

A gyakorlatba ültetés

Miért számít

  • Kockázat és biztonság. A katasztrofális és a mindennapi mesterséges intelligencia okozta károk egyaránt attól függnek, hogy ki érti a kockázatokat, és ki tud cselekedni.
  • Tisztább döntések. A közéleti és szakmai műveltség határozza meg, hogy politikailag lehetséges-e az erős biztonsági politika.
  • Átvágva a felhajtáson. A világos magyarázatok csökkentik a hírverés, a laboratóriumi PR és a homályos etikai színház általi elkapását.

Vigyázz

  • Az egzisztenciális kockázat sci-fiként való kezelése, miközben a képesség összetett.
  • Zavaros felületi termékbiztonság a nagy autonómia melletti igazítással.
  • A nem angol nyelvű és nem szakértő közönségnek csak rossz minőségű forrásokat kell hagynia.

Következő lépések

  1. Különítse el a termékkárok, a visszaélések és az ellenőrzés elvesztésének/hibás beállításának kockázatait.
  2. Kérdezd meg, milyen bizonyítékok változtatnák meg az idővonalakról és a súlyosságról alkotott nézetedet.
  3. Részesítse előnyben az elsődleges forrásokat és a konkrét értékeléseket a marketinges állításokkal szemben.
  4. Határozzon meg egy cselekvési utat: karrier, politika, finanszírozás vagy készségek – nem csak a tudatosság.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Gender Shades and Facial Recognition Bias Audits quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a nemi árnyalatok és az arcfelismerési torzítás auditja?

A Gender Shades Joy Buolamwini és Timnit Gebru 2018-as tanulmánya, amely az IBM, a Microsoft és a Face++ kereskedelmi arcelemző rendszereit vizsgálta. Azt találta, hogy a nemek szerinti besorolásuk sokkal kevésbé volt pontos a sötétebb bőrű nőknél, mint a világosabb bőrű férfiaknál. A tanulmány azért fontos, mert a rejtett mesterségesintelligencia-hibák feltárásának szokásos módszerévé tette az interszekcionális auditálást, amely az eredményeket kombinált attribútumok szerint bontja le, nem pedig egyenként.

Mely cégek arcelemző szolgáltatásait vizsgálta az eredeti Gender Shades tanulmány?

A 2018-as tanulmány az IBM-et, a Microsoft-t és a Face++-t tesztelte. A Amazon-t a 2019-es nyomon követés során megvizsgálták.

Miből készült a Pilot Parliaments Benchmark?

A benchmark hat ország parlamenti képviselőinek 1270 képét használta, amelyeket a nem és a bőrtípus egyensúlyának megfelelően választottak ki.

Milyen skálát használtak a kutatók a bőrtípus jelölésére?

A bőrgyógyászatból származó Fitzpatrick skálát használták. Egyes későbbi munkák tágabb skálákat használnak, például a szerzetesi skálát.

Milyen feladatot mért valójában a Gender Shades?

A tanulmány a nemek szerinti besorolást mérte. Gyakori tévhit, hogy a rendőrség által használt azonosítási rendszereket mérte.

Melyik alcsoportban volt a legmagasabb a nemi árnyalatok hibaaránya?

A hibák ott tetőztek, ahol a két tulajdonság átfedésben volt, a sötétebb bőrű nőknél, és a legrosszabb rendszer esetében elérte a 35 százalékot.