Wyrzucone narzędzie rekrutacyjne AI Amazon

W październiku 2018 r. agencja Reuters poinformowała, że ​​Amazon zbudował, a następnie po cichu wycofał narzędzie do uczenia maszynowego służące do oceniania kandydatów do pracy. Zespół rozpoczął pracę około 2014 roku. Celem było dostarczenie stosu CV i pozyskanie kilku najlepszych kandydatów do zatrudnienia. Modelki przeszkolono na podstawie życiorysów składanych firmie przez dziesięć lat i dowiedziały się, jakie wzorce zazwyczaj pasują do zatrudnianych osób. Większość kandydatów na stanowiska techniczne to mężczyźni, więc wzorce, których nauczył się model, były zakodowane przez mężczyzn. Do 2015 r. zespół zauważył, że system nie ocenia kandydatów na programistów ani na inne stanowiska techniczne w sposób neutralny pod względem płci. Według Reutersa nałożyła kary na życiorysy zawierające słowo „kobiece”, np. „kapitan kobiecego klubu szachowego”, oraz na obniżoną ocenę absolwentek dwóch uczelni żeńskich. Faworyzował także czasowniki takie jak „stracony” i „schwytany”, które częściej pojawiały się w życiorysach mężczyzn. Inżynierowie zredagowali modele tak, aby były neutralne w stosunku do tych konkretnych warunków. Nie dawało to gwarancji, że system nie znajdzie innych, równie dyskryminujących sposobów sortowania kandydatów. Projekt utracił wsparcie, a zespół został rozwiązany na początku 2017 r. Amazon stwierdził, że osoby rekrutujące nigdy nie korzystały z tego narzędzia do oceny kandydatów. Reuters podał, że rekruterzy zapoznali się z jego zaleceniami, ale nie polegali wyłącznie na nich. Najważniejszą lekcją jest to, że problemem była etykieta szkoleniowa. Model dokładnie przewidział, kogo Amazon zatrudniał wcześniej, a wcześniejsze decyzje dotyczące zatrudnienia zawierały błąd stronniczy. Powszechnym błędnym przekonaniem jest to, że algorytm sam w sobie „stał się seksistowski”. Tak naprawdę dowiedział się dokładnie, co nagrodziły dane. Innym jest to, że usunięcie płci rozwiązuje problem. Tekst zawiera wiele skorelowanych proxy, a elastyczny model je znajdzie. Sprawa ta pojawia się obecnie w debatach regulacyjnych, w tym w nowojorskiej ustawie o audycie stronniczości w zakresie zautomatyzowanych narzędzi rekrutacyjnych oraz klasyfikacji systemów zatrudnienia zawartej w unijnej ustawie o sztucznej inteligencji jako systemów zatrudnienia wysokiego ryzyka.