VolgendeVolgende gids
De zaak rondom de bias in de bijsnijdfunctie van Twitter-afbeeldingen
Bedrijven
Gids voor de samenleving
Amazon's AI-recruiting tool was an experimental system, begun around 2014, that rated job applicants' résumés from one to five stars by learning from ten years of past résumés.
Luister naar deze gidsAI-verteld · ~3 min
Amazon stopte ermee nadat bleek dat het cv's die geassocieerd werden met vrouwen beboette. Het is nu het standaardvoorbeeld van hoe modellen die getraind zijn op historische beslissingen, eerdere discriminatie reproduceren.
Reuters reported in October 2018 that Amazon had built, and then quietly scrapped, a machine learning tool for ranking job candidates. A team began the work around 2014. The goal was to feed in a stack of résumés and get back the top few candidates to hire. The models were trained on résumés submitted to the company over ten years and learned which patterns tended to go with people who were hired. Most applicants for technical roles were men, so the patterns the model learned were male-coded. By 2015, the team saw that the system was not rating candidates for software developer and other technical jobs in a gender-neutral way. According to Reuters, it penalized résumés containing the word "women's," as in "women's chess club captain," and downgraded graduates of two all-women's colleges. It also favored verbs such as "executed" and "captured," which appeared more often on men's résumés. Engineers edited the models to be neutral to those particular terms. That gave no guarantee the system would not find other ways to sort candidates that were just as discriminatory. The project lost support and the team was disbanded by early 2017. Amazon said the tool was never used by its recruiters to evaluate candidates. Reuters reported that recruiters looked at its recommendations but did not rely on them alone. The key lesson is that the training label was the problem. The model accurately predicted whom Amazon had hired before, and those past hiring decisions contained bias. A common misconception is that the algorithm "became sexist" on its own. In fact it learned exactly what the data rewarded. Another is that removing gender fixes the problem. Text contains many correlated proxies, and a flexible model will find them. The case now comes up in regulatory debates, including New York City's bias audit law for automated hiring tools and the EU AI Act's classification of employment systems as high risk.
Een cv met "captain of the women's chess club" zou een lagere score krijgen, omdat in de trainingsdata het woord "women's" zelden voorkwam op de cv's van mensen die werden aangenomen.
Een werkgever in New York City die een geautomatiseerd hulpmiddel gebruikt om kandidaten te screenen, moet een onafhankelijke bias-audit laten uitvoeren en een samenvatting publiceren onder Local Law 144, een vereiste dat is gevormd door zaken zoals die van Amazon.
Een leverancier verwijdert geslachtsvelden en geslachtsgebonden woorden uit een screeningmodel. Een disparate impact test toont vervolgens aan dat vrouwen nog steeds minder dan vier-fifths van het tempo van mannen slagen, vanwege proxys zoals hobby's of college-namen.
Een bedrijf traint een rangschikkingmodel opnieuw om "succesvolle medewerkers" te voorspellen en ontdekt dat de label zelf gebiaseerde promotiebeslissingen weerspiegelt. Het schakelt over op gestructureerde, werkgerelateerde vaardigheidstests als trainingsdoel.
Werving verplaatst zich van trefwoordfilters naar grote taalmodellen die kandidaten samenvatten en rangschikken, en dit verhoogt hetzelfde risico op grotere schaal. Toezichthouders reageren. New York City vereist bias-audits voor geautomatiseerde arbeidsbeslissingshulpmiddelen, en de EU AI Act classificeert wervingsystemen als hoog risico, met verplichtingen die geleidelijk worden ingevoerd. In de VS geldt bestaand antidiscriminatiewetgeving zoals Title VII nog steeds voor algorithmische hulpmiddelen, zelfs terwijl de richtlijnen van federale instanties zijn verschoven. Auditmethoden zijn nog in ontwikkeling, en een geslaagde audit op één dataset garandeert geen eerlijkheid elders. De blijvende les van het Amazon-geval is om te vragen waarvoor een model getraind is om te voorspellen, voordat je vertrouwt op hoe goed het dat doet.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Amazon's AI-recruiting tool was een experimenteel systeem, gestart rond 2014, dat cv's van sollicitanten beoordeelde van één tot vijf sterren door te leren uit tien jaar aan eerdere cv's. Amazon stopte ermee nadat bleek dat het cv's die geassocieerd werden met vrouwen beboette. Het is nu het standaardvoorbeeld van hoe modellen die getraind zijn op historische beslissingen, eerdere discriminatie reproduceren.
Het model leerde uit ongeveer tien jaar aan cv's die bij Amazon werden ingediend, en de meeste sollicitanten voor technische functies waren mannen.
Cv's die "women's" bevatten, zoals "women's chess club captain", werden gedowngraded. "Executed" en "captured" werden bevoordeeld, niet beboet.
Blocking a few words does not remove the correlated signals spread through the text, so the model could still discriminate through other proxies.
The model predicted who had been hired before. Because past hiring was skewed, the label encoded that skew and the model reproduced it.
Reuters reported that the model favored "executed" and "captured," which were more common on men's résumés, an example of subtle proxy features.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
De zaak rondom de bias in de bijsnijdfunctie van Twitter-afbeeldingen
Bedrijven