GUIDA della Società

Sfumature di genere e audit sui pregiudizi del riconoscimento facciale

Gender Shades è uno studio del 2018 di Joy Buolamwini e Timnit Gebru che ha valutato i sistemi commerciali di analisi facciale di IBM, Microsoft e Face++.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro di Gender Shades e degli audit sui bias del riconoscimento facciale
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Ha scoperto che la loro classificazione di genere era molto meno accurata per le donne dalla pelle più scura rispetto agli uomini dalla pelle più chiara. Lo studio è importante perché ha reso l'audit intersezionale, che suddivide i risultati per attributi combinati anziché uno alla volta, un metodo standard per rivelare i fallimenti nascosti dell'IA.

Immersione profonda

Joy Buolamwini, then at the MIT Media Lab, noticed that face detection software did not register her face until she put on a white mask. With Timnit Gebru, she designed a structured audit and published it at the 2018 Conference on Fairness, Accountability and Transparency. Existing benchmarks were dominated by lighter-skinned men, so they built their own, the Pilot Parliaments Benchmark. It contains 1,270 images of members of parliament from three African and three European countries, labeled by binary gender and by skin type on the dermatologists' Fitzpatrick scale. They tested the gender classification services of IBM, Microsoft and Face++. All three did better on men than on women and better on lighter skin than on darker skin. The worst results appeared where the two overlapped. Error rates for darker-skinned women reached about 35 percent for the worst system, compared with under 1 percent for lighter-skinned men. A single overall accuracy figure hid this gap. A 2019 follow-up by Inioluwa Deborah Raji and Buolamwini, "Actionable Auditing," found that the audited companies had narrowed their gaps after being publicly named. Vendors that had not been audited, including Amazon, showed similar disparities. Amazon disputed the methodology. A common misconception is that Gender Shades measured the face identification used by police. It measured gender classification. Evidence on identification came from NIST's 2019 demographic effects report, which tested around 200 algorithms. Many had higher false positive rates for some groups, including African and East Asian faces, often by large factors, while the most accurate algorithms showed much smaller differences. Real harm followed. Robert Williams, Nijeer Parks and Porcha Woodruff, all Black, were each wrongly arrested after facial recognition leads. In June 2020, IBM said it would leave the general-purpose facial recognition business, Amazon paused police use of Rekognition, and Microsoft said it would not sell to US police until a federal law was in place.

Implementazione nel mondo reale

Un team di prodotto riporta l'accuratezza della verifica facciale separatamente per donne dalla pelle più scura, uomini dalla pelle più scura, donne dalla pelle più chiara e uomini dalla pelle più chiara, invece di pubblicare un unico valore principale che potrebbe nascondere un sottogruppo con prestazioni scadenti.

Robert Williams, un uomo nero di Detroit, è stato arrestato nel 2020 dopo che il riconoscimento facciale ha associato la foto della sua patente di guida a un video di taccheggio. Le accuse sono state ritirate e, in seguito, un accordo ha modificato le regole della polizia di Detroit sull'uso di tali corrispondenze.

Prima di approvare un fornitore, l'ufficio acquisti della città verifica i risultati dei test demografici del NIST per la specifica versione dell'algoritmo offerta, poiché le differenze di errore variano notevolmente tra gli algoritmi.

Un ricercatore crea un set di test bilanciato per tipo di pelle e genere, seguendo l’approccio del Pilot Parliaments Benchmark, per verificare eventuali lacune in un nuovo modello facciale prima del rilascio.

Il futuro di Gender Shades e degli audit sui bias del riconoscimento facciale

Il riconoscimento facciale è diventato più preciso in media, e i test continui del NIST mostrano che le differenze demografiche si riducono per gli algoritmi leader, sebbene non scompaiano, e rimangono grandi per molti altri. La normativa rimane frammentata. Alcune città degli Stati Uniti limitano l'uso governativo, l'EU AI Act limita severamente l'identificazione biometrica remota in tempo reale negli spazi pubblici da parte della polizia, e diversi fornitori hanno ritirato alcuni prodotti. I casi di arresto ingiustificato continuano a spingere i dipartimenti di polizia a trattare le corrispondenze solo come indizi. Il metodo Gender Shades, che pubblica risultati disaggregati e nomina i fornitori, è ora ampiamente utilizzato per auditare altri sistemi AI, inclusi generatori di linguaggio e immagini.

Metterlo in pratica

Perché è importante

  • Rischio e sicurezza. I danni catastrofici e quotidiani dell’IA dipendono entrambi da chi comprende i rischi e da chi può agire.
  • Decisioni più chiare. L’alfabetizzazione pubblica e professionale determina la possibilità politica di una forte politica di sicurezza.
  • Tagliare il clamore. Spiegazioni chiare riducono la cattura da parte di montature pubblicitarie, PR di laboratorio e vaghi teatrini etici.

Attenzione

  • Trattare il rischio esistenziale come fantascienza mentre le capacità si aggravano.
  • Confondere la sicurezza del prodotto superficiale con l'allineamento in condizioni di elevata autonomia.
  • Lasciando il pubblico non inglese e non esperto solo con fonti di bassa qualità.

Prossimi passi

  1. Separare i rischi di danni al prodotto, uso improprio e perdita di controllo/disallineamento.
  2. Chiedi quali prove cambierebbero la tua opinione sulle tempistiche e sulla gravità.
  3. Preferire fonti primarie e valutazioni concrete alle affermazioni di marketing.
  4. Identifica un percorso d’azione: carriera, politica, finanziamenti o competenze, non solo consapevolezza.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Prendi il quiz Gender Shades e Facial Recognition Bias Audits

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cos'è Gender Shades e Facial Recognition Bias Audits?

Gender Shades è uno studio del 2018 di Joy Buolamwini e Timnit Gebru che ha auditato i sistemi commerciali di analisi facciale di IBM, Microsoft e Face++. Ha scoperto che la loro classificazione di genere era molto meno accurata per le donne con pelle più scura rispetto agli uomini con pelle più chiara. Lo studio è importante perché ha reso l'audit intersezionale, che suddivide i risultati per attributi combinati anziché uno alla volta, un modo standard per esporre i fallimenti nascosti dell'IA.

Quali servizi di analisi facciale delle aziende sono stati auditati dallo studio originale Gender Shades?

Lo studio del 2018 ha testato IBM, Microsoft e Face++. Amazon è stato esaminato nel follow-up del 2019.

Di cosa era composto il Pilot Parliaments Benchmark?

Il benchmark ha utilizzato 1.270 immagini di parlamentari provenienti da sei paesi, scelte per bilanciare genere e tipo di pelle.

Quale scala hanno usato i ricercatori per etichettare il tipo di pelle?

Hanno usato la scala di Fitzpatrick della dermatologia. Alcuni lavori successivi usano scale più ampie, come la scala di Monk.

Quale compito ha effettivamente misurato Gender Shades?

Lo studio ha misurato la classificazione di genere. Un'idea sbagliata comune è che abbia misurato i sistemi di identificazione usati dalla polizia.

Quale sottogruppo ha avuto i tassi di errore più alti in Gender Shades?

Gli errori sono aumentati dove i due attributi si sovrapponevano, nelle donne con pelle più scura, raggiungendo circa il 35 percento per il sistema peggiore.