Das verschrottete KI-Rekrutierungstool von Amazon

Reuters berichtete im Oktober 2018, dass Amazon ein maschinelles Lerntool zur Bewertung von Stellenbewerbern entwickelt und dann stillschweigend verworfen hatte. Ein Team begann etwa im Jahr 2014 mit der Arbeit. Das Ziel bestand darin, einen Stapel von Lebensläufen einzureichen und die wenigen Top-Kandidaten zur Einstellung zurückzuholen. Die Models wurden anhand von Lebensläufen geschult, die dem Unternehmen über einen Zeitraum von zehn Jahren vorgelegt wurden, und lernten, welche Muster tendenziell zu den eingestellten Personen passen. Die meisten Bewerber für technische Stellen waren Männer, daher waren die Muster, die das Modell lernte, männlich kodiert. Im Jahr 2015 stellte das Team fest, dass das System Kandidaten für Softwareentwickler- und andere technische Berufe nicht geschlechtsneutral bewertete. Laut Reuters bestrafte es Lebensläufe, die das Wort „Frauen“ enthielten, etwa „Kapitänin des Frauenschachclubs“, und stufte Absolventen zweier reiner Frauenhochschulen herab. Es wurden auch Verben wie „hingerichtet“ und „gefangen“ bevorzugt, die häufiger in den Lebensläufen von Männern auftauchten. Die Ingenieure haben die Modelle so bearbeitet, dass sie diesen besonderen Bedingungen neutral entsprechen. Das war jedoch keine Garantie dafür, dass das System nicht auch andere, ebenso diskriminierende Methoden zur Auswahl von Kandidaten finden würde. Das Projekt verlor die Unterstützung und das Team wurde Anfang 2017 aufgelöst. Amazon sagte, das Tool sei von seinen Personalvermittlern nie zur Bewertung von Kandidaten verwendet worden. Reuters berichtete, dass Personalvermittler sich die Empfehlungen des Unternehmens angesehen, sich aber nicht allein auf sie verlassen hätten. Die wichtigste Lektion ist, dass das Trainingsetikett das Problem war. Das Modell sagte genau voraus, wen Amazon zuvor eingestellt hatte, und diese früheren Einstellungsentscheidungen enthielten Voreingenommenheit. Ein weit verbreitetes Missverständnis ist, dass der Algorithmus von selbst „sexistisch geworden“ sei. Tatsächlich erfuhr es genau, was die Daten belohnten. Ein weiterer Grund ist, dass das Entfernen des Geschlechts das Problem behebt. Text enthält viele korrelierte Proxys und ein flexibles Modell findet sie. Der Fall wird nun in regulatorischen Debatten thematisiert, unter anderem über das New Yorker Gesetz zur Voreingenommenheitsprüfung für automatisierte Einstellungstools und die Einstufung von Beschäftigungssystemen durch den EU-KI-Gesetz als risikoreich.