Gids voor de samenleving

Amazon's geschrapte AI-rekruteringstool

Amazon's AI-recruiting tool was an experimental system, begun around 2014, that rated job applicants' résumés from one to five stars by learning from ten years of past résumés.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van Amazon's afgeschaft AI-recruiting tool
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Amazon stopte ermee nadat bleek dat het cv's die geassocieerd werden met vrouwen beboette. Het is nu het standaardvoorbeeld van hoe modellen die getraind zijn op historische beslissingen, eerdere discriminatie reproduceren.

Diepe duik

Reuters reported in October 2018 that Amazon had built, and then quietly scrapped, a machine learning tool for ranking job candidates. A team began the work around 2014. The goal was to feed in a stack of résumés and get back the top few candidates to hire. The models were trained on résumés submitted to the company over ten years and learned which patterns tended to go with people who were hired. Most applicants for technical roles were men, so the patterns the model learned were male-coded. By 2015, the team saw that the system was not rating candidates for software developer and other technical jobs in a gender-neutral way. According to Reuters, it penalized résumés containing the word "women's," as in "women's chess club captain," and downgraded graduates of two all-women's colleges. It also favored verbs such as "executed" and "captured," which appeared more often on men's résumés. Engineers edited the models to be neutral to those particular terms. That gave no guarantee the system would not find other ways to sort candidates that were just as discriminatory. The project lost support and the team was disbanded by early 2017. Amazon said the tool was never used by its recruiters to evaluate candidates. Reuters reported that recruiters looked at its recommendations but did not rely on them alone. The key lesson is that the training label was the problem. The model accurately predicted whom Amazon had hired before, and those past hiring decisions contained bias. A common misconception is that the algorithm "became sexist" on its own. In fact it learned exactly what the data rewarded. Another is that removing gender fixes the problem. Text contains many correlated proxies, and a flexible model will find them. The case now comes up in regulatory debates, including New York City's bias audit law for automated hiring tools and the EU AI Act's classification of employment systems as high risk.

Implementatie in de echte wereld

Een cv met "captain of the women's chess club" zou een lagere score krijgen, omdat in de trainingsdata het woord "women's" zelden voorkwam op de cv's van mensen die werden aangenomen.

Een werkgever in New York City die een geautomatiseerd hulpmiddel gebruikt om kandidaten te screenen, moet een onafhankelijke bias-audit laten uitvoeren en een samenvatting publiceren onder Local Law 144, een vereiste dat is gevormd door zaken zoals die van Amazon.

Een leverancier verwijdert geslachtsvelden en geslachtsgebonden woorden uit een screeningmodel. Een disparate impact test toont vervolgens aan dat vrouwen nog steeds minder dan vier-fifths van het tempo van mannen slagen, vanwege proxys zoals hobby's of college-namen.

Een bedrijf traint een rangschikkingmodel opnieuw om "succesvolle medewerkers" te voorspellen en ontdekt dat de label zelf gebiaseerde promotiebeslissingen weerspiegelt. Het schakelt over op gestructureerde, werkgerelateerde vaardigheidstests als trainingsdoel.

De toekomst van Amazon's afgeschaft AI-recruiting tool

Werving verplaatst zich van trefwoordfilters naar grote taalmodellen die kandidaten samenvatten en rangschikken, en dit verhoogt hetzelfde risico op grotere schaal. Toezichthouders reageren. New York City vereist bias-audits voor geautomatiseerde arbeidsbeslissingshulpmiddelen, en de EU AI Act classificeert wervingsystemen als hoog risico, met verplichtingen die geleidelijk worden ingevoerd. In de VS geldt bestaand antidiscriminatiewetgeving zoals Title VII nog steeds voor algorithmische hulpmiddelen, zelfs terwijl de richtlijnen van federale instanties zijn verschoven. Auditmethoden zijn nog in ontwikkeling, en een geslaagde audit op één dataset garandeert geen eerlijkheid elders. De blijvende les van het Amazon-geval is om te vragen waarvoor een model getraind is om te voorspellen, voordat je vertrouwt op hoe goed het dat doet.

Het in de praktijk brengen

Waarom het ertoe doet

  • Risico en veiligheid. Catastrofale en alledaagse schade door AI hangt af van wie de risico's begrijpt en wie kan handelen.
  • Duidelijkere beslissingen. Publieke en professionele geletterdheid bepalen of een krachtig veiligheidsbeleid politiek mogelijk is.
  • Door de hype heen snijden. Duidelijke verklaringen verminderen de kans op hypes, laboratorium-PR en vaag ethisch theater.

Pas op voor

  • Existentieel risico behandelen als sciencefiction, terwijl capaciteiten zich vermenigvuldigen.
  • De veiligheid van oppervlakteproducten verwarren met uitlijning onder hoge autonomie.
  • Hierdoor blijven niet-Engelstalige en niet-deskundige doelgroepen alleen bronnen van lage kwaliteit over.

Volgende stappen

  1. Afzonderlijke risico's voor productschade, misbruik en verlies van controle/verkeerde uitlijning.
  2. Vraag welk bewijs uw kijk op tijdlijnen en ernst zou veranderen.
  3. Geef de voorkeur aan primaire bronnen en concrete evaluaties boven marketingclaims.
  4. Identificeer één actiepad: carrière, beleid, financiering of vaardigheden – niet alleen bewustwording.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Neem de quiz over Amazon's afgeschaft AI-recruiting tool

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is Amazon's afgeschaft AI-recruiting tool?

Amazon's AI-recruiting tool was een experimenteel systeem, gestart rond 2014, dat cv's van sollicitanten beoordeelde van één tot vijf sterren door te leren uit tien jaar aan eerdere cv's. Amazon stopte ermee nadat bleek dat het cv's die geassocieerd werden met vrouwen beboette. Het is nu het standaardvoorbeeld van hoe modellen die getraind zijn op historische beslissingen, eerdere discriminatie reproduceren.

Welke data werd Amazon's wervingsmodel op getraind?

Het model leerde uit ongeveer tien jaar aan cv's die bij Amazon werden ingediend, en de meeste sollicitanten voor technische functies waren mannen.

Welk woord rapporteerde Reuters dat het model beboette?

Cv's die "women's" bevatten, zoals "women's chess club captain", werden gedowngraded. "Executed" en "captured" werden bevoordeeld, niet beboet.

Waarom lukte het niet om het probleem op te lossen door het model te bewerken zodat het specifieke geslachtsgebonden termen negeerde?

Blocking a few words does not remove the correlated signals spread through the text, so the model could still discriminate through other proxies.

What is the central lesson about the training label in this case?

The model predicted who had been hired before. Because past hiring was skewed, the label encoded that skew and the model reproduced it.

Which verbs did the model reportedly favor because they appeared more often on men's résumés?

Reuters reported that the model favored "executed" and "captured," which were more common on men's résumés, an example of subtle proxy features.