Il prossimoProssima guida
Riconoscimento facciale dal vivo negli spazi pubblici
Società
GUIDA della Società
Gender Shades è uno studio del 2018 di Joy Buolamwini e Timnit Gebru che ha valutato i sistemi commerciali di analisi facciale di IBM, Microsoft e Face++.
Ascolta questa guidaNarrato dall'IA · ~3 min
Ha scoperto che la loro classificazione di genere era molto meno accurata per le donne dalla pelle più scura rispetto agli uomini dalla pelle più chiara. Lo studio è importante perché ha reso l'audit intersezionale, che suddivide i risultati per attributi combinati anziché uno alla volta, un metodo standard per rivelare i fallimenti nascosti dell'IA.
Joy Buolamwini, then at the MIT Media Lab, noticed that face detection software did not register her face until she put on a white mask. With Timnit Gebru, she designed a structured audit and published it at the 2018 Conference on Fairness, Accountability and Transparency. Existing benchmarks were dominated by lighter-skinned men, so they built their own, the Pilot Parliaments Benchmark. It contains 1,270 images of members of parliament from three African and three European countries, labeled by binary gender and by skin type on the dermatologists' Fitzpatrick scale. They tested the gender classification services of IBM, Microsoft and Face++. All three did better on men than on women and better on lighter skin than on darker skin. The worst results appeared where the two overlapped. Error rates for darker-skinned women reached about 35 percent for the worst system, compared with under 1 percent for lighter-skinned men. A single overall accuracy figure hid this gap. A 2019 follow-up by Inioluwa Deborah Raji and Buolamwini, "Actionable Auditing," found that the audited companies had narrowed their gaps after being publicly named. Vendors that had not been audited, including Amazon, showed similar disparities. Amazon disputed the methodology. A common misconception is that Gender Shades measured the face identification used by police. It measured gender classification. Evidence on identification came from NIST's 2019 demographic effects report, which tested around 200 algorithms. Many had higher false positive rates for some groups, including African and East Asian faces, often by large factors, while the most accurate algorithms showed much smaller differences. Real harm followed. Robert Williams, Nijeer Parks and Porcha Woodruff, all Black, were each wrongly arrested after facial recognition leads. In June 2020, IBM said it would leave the general-purpose facial recognition business, Amazon paused police use of Rekognition, and Microsoft said it would not sell to US police until a federal law was in place.
Un team di prodotto riporta l'accuratezza della verifica facciale separatamente per donne dalla pelle più scura, uomini dalla pelle più scura, donne dalla pelle più chiara e uomini dalla pelle più chiara, invece di pubblicare un unico valore principale che potrebbe nascondere un sottogruppo con prestazioni scadenti.
Robert Williams, un uomo nero di Detroit, è stato arrestato nel 2020 dopo che il riconoscimento facciale ha associato la foto della sua patente di guida a un video di taccheggio. Le accuse sono state ritirate e, in seguito, un accordo ha modificato le regole della polizia di Detroit sull'uso di tali corrispondenze.
Prima di approvare un fornitore, l'ufficio acquisti della città verifica i risultati dei test demografici del NIST per la specifica versione dell'algoritmo offerta, poiché le differenze di errore variano notevolmente tra gli algoritmi.
Un ricercatore crea un set di test bilanciato per tipo di pelle e genere, seguendo l’approccio del Pilot Parliaments Benchmark, per verificare eventuali lacune in un nuovo modello facciale prima del rilascio.
Il riconoscimento facciale è diventato più preciso in media, e i test continui del NIST mostrano che le differenze demografiche si riducono per gli algoritmi leader, sebbene non scompaiano, e rimangono grandi per molti altri. La normativa rimane frammentata. Alcune città degli Stati Uniti limitano l'uso governativo, l'EU AI Act limita severamente l'identificazione biometrica remota in tempo reale negli spazi pubblici da parte della polizia, e diversi fornitori hanno ritirato alcuni prodotti. I casi di arresto ingiustificato continuano a spingere i dipartimenti di polizia a trattare le corrispondenze solo come indizi. Il metodo Gender Shades, che pubblica risultati disaggregati e nomina i fornitori, è ora ampiamente utilizzato per auditare altri sistemi AI, inclusi generatori di linguaggio e immagini.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Gender Shades è uno studio del 2018 di Joy Buolamwini e Timnit Gebru che ha auditato i sistemi commerciali di analisi facciale di IBM, Microsoft e Face++. Ha scoperto che la loro classificazione di genere era molto meno accurata per le donne con pelle più scura rispetto agli uomini con pelle più chiara. Lo studio è importante perché ha reso l'audit intersezionale, che suddivide i risultati per attributi combinati anziché uno alla volta, un modo standard per esporre i fallimenti nascosti dell'IA.
Lo studio del 2018 ha testato IBM, Microsoft e Face++. Amazon è stato esaminato nel follow-up del 2019.
Il benchmark ha utilizzato 1.270 immagini di parlamentari provenienti da sei paesi, scelte per bilanciare genere e tipo di pelle.
Hanno usato la scala di Fitzpatrick della dermatologia. Alcuni lavori successivi usano scale più ampie, come la scala di Monk.
Lo studio ha misurato la classificazione di genere. Un'idea sbagliata comune è che abbia misurato i sistemi di identificazione usati dalla polizia.
Gli errori sono aumentati dove i due attributi si sovrapponevano, nelle donne con pelle più scura, raggiungendo circa il 35 percento per il sistema peggiore.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Riconoscimento facciale dal vivo negli spazi pubblici
Società