Gids voor de samenleving

Gendertinten en audits voor gezichtsherkenning

Gender Shades is een studie uit 2018 van Joy Buolamwini en Timnit Gebru die commerciële gezichtsanalysesystemen van IBM, Microsoft en Face++ heeft beoordeeld.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De Toekomst van Gender Shades en Audits van Bias in Gezichtsherkenning
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Het bleek dat hun geslachtclassificatie veel minder nauwkeurig was voor donkerhuidige vrouwen dan voor lichthuidige mannen. De studie is belangrijk omdat het intersectioneel auditen, waarbij resultaten worden opgesplitst op gecombineerde attributen in plaats van één voor één, een standaardmethode maakte om verborgen AI‑fouten bloot te leggen.

Diepe duik

Joy Buolamwini, then at the MIT Media Lab, noticed that face detection software did not register her face until she put on a white mask. With Timnit Gebru, she designed a structured audit and published it at the 2018 Conference on Fairness, Accountability and Transparency. Existing benchmarks were dominated by lighter-skinned men, so they built their own, the Pilot Parliaments Benchmark. It contains 1,270 images of members of parliament from three African and three European countries, labeled by binary gender and by skin type on the dermatologists' Fitzpatrick scale. They tested the gender classification services of IBM, Microsoft and Face++. All three did better on men than on women and better on lighter skin than on darker skin. The worst results appeared where the two overlapped. Error rates for darker-skinned women reached about 35 percent for the worst system, compared with under 1 percent for lighter-skinned men. A single overall accuracy figure hid this gap. A 2019 follow-up by Inioluwa Deborah Raji and Buolamwini, "Actionable Auditing," found that the audited companies had narrowed their gaps after being publicly named. Vendors that had not been audited, including Amazon, showed similar disparities. Amazon disputed the methodology. A common misconception is that Gender Shades measured the face identification used by police. It measured gender classification. Evidence on identification came from NIST's 2019 demographic effects report, which tested around 200 algorithms. Many had higher false positive rates for some groups, including African and East Asian faces, often by large factors, while the most accurate algorithms showed much smaller differences. Real harm followed. Robert Williams, Nijeer Parks and Porcha Woodruff, all Black, were each wrongly arrested after facial recognition leads. In June 2020, IBM said it would leave the general-purpose facial recognition business, Amazon paused police use of Rekognition, and Microsoft said it would not sell to US police until a federal law was in place.

Implementatie in de echte wereld

Een productteam rapporteert de nauwkeurigheid van gezichtsverificatie afzonderlijk voor donkerhuidige vrouwen, donkerhuidige mannen, lichthuidige vrouwen en lichthuidige mannen, in plaats van één hoofdgetal te publiceren dat een falende subgroep kan verbergen.

Robert Williams, een zwarte man in Detroit, werd 2020 gearresteerd nadat gezichtsherkenning zijn rijbewijsfoto had gekoppeld aan opnames van winkeldiefstal. De aanklachten werden ingetrokken, en een latere schikking wijzigde de regels van de Detroit‑politie voor het gebruik van dergelijke matches.

Voordat een leverancier wordt goedgekeurd, controleert een stadsinkoopkantoor de demografische testresultaten van NIST voor de specifieke algoritmische versie die wordt aangeboden, omdat foutverschillen sterk variëren tussen algoritmen.

A researcher builds a test set balanced by skin type and gender, following the Pilot Parliaments Benchmark approach, to check a new face model for gaps before release.

De Toekomst van Gender Shades en Audits van Bias in Gezichtsherkenning

Face recognition has become more accurate on average, and NIST's continuing tests show demographic differences shrinking for leading algorithms, though not disappearing, and staying large for many others. Policy remains fragmented. Some US cities restrict government use, the EU AI Act sharply limits real-time remote biometric identification in public spaces by police, and several vendors have withdrawn some products. Wrongful arrest cases continue to push police departments to treat matches as leads only. The Gender Shades method, publishing disaggregated results and naming vendors, is now widely used for auditing other AI systems, including language and image generators.

Het in de praktijk brengen

Waarom het ertoe doet

  • Risico en veiligheid. Catastrofale en alledaagse schade door AI hangt af van wie de risico's begrijpt en wie kan handelen.
  • Duidelijkere beslissingen. Publieke en professionele geletterdheid bepalen of een krachtig veiligheidsbeleid politiek mogelijk is.
  • Door de hype heen snijden. Duidelijke verklaringen verminderen de kans op hypes, laboratorium-PR en vaag ethisch theater.

Pas op voor

  • Existentieel risico behandelen als sciencefiction, terwijl capaciteiten zich vermenigvuldigen.
  • De veiligheid van oppervlakteproducten verwarren met uitlijning onder hoge autonomie.
  • Hierdoor blijven niet-Engelstalige en niet-deskundige doelgroepen alleen bronnen van lage kwaliteit over.

Volgende stappen

  1. Afzonderlijke risico's voor productschade, misbruik en verlies van controle/verkeerde uitlijning.
  2. Vraag welk bewijs uw kijk op tijdlijnen en ernst zou veranderen.
  3. Geef de voorkeur aan primaire bronnen en concrete evaluaties boven marketingclaims.
  4. Identificeer één actiepad: carrière, beleid, financiering of vaardigheden – niet alleen bewustwording.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Gender Shades and Facial Recognition Bias Audits quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

What is Gender Shades and Facial Recognition Bias Audits?

Gender Shades is a 2018 study by Joy Buolamwini and Timnit Gebru that audited commercial face analysis systems from IBM, Microsoft and Face++. It found their gender classification was far less accurate for darker-skinned women than for lighter-skinned men. The study matters because it made intersectional auditing, which breaks results down by combined attributes rather than one at a time, a standard way of exposing hidden AI failures.

Which companies' face analysis services did the original Gender Shades study audit?

The 2018 study tested IBM, Microsoft and Face++. Amazon was examined in the 2019 follow-up.

What was the Pilot Parliaments Benchmark made of?

The benchmark used 1,270 images of parliamentarians from six countries, chosen to balance gender and skin type.

Which scale did the researchers use to label skin type?

They used the Fitzpatrick scale from dermatology. Some later work uses broader scales such as the Monk scale.

What task did Gender Shades actually measure?

The study measured gender classification. A common misconception is that it measured the identification systems used by police.

Which subgroup had the highest error rates in Gender Shades?

Errors peaked where the two attributes overlapped, at darker-skinned women, reaching about 35 percent for the worst system.