Mai departeUrmătorul ghid
AI și inventarierea brevetelor: cazurile DABUS
Societate
Societate GHID
Instrumentul de recrutare AI abandonat de la Amazon
Instrumentul de recrutare AI al Amazon a fost un sistem experimental, început în jurul anului 2014, care a evaluat CV-urile solicitanților de locuri de muncă de la una la cinci stele, învățând din zece ani de CV-uri anterioare.
Pe această pagină4 minute de citit
Prezentare generală
Amazon a abandonat-o după ce a constatat că penaliza CV-urile asociate femeilor. Acum este exemplul standard al modului în care modelele antrenate pe decizii istorice reproduc discriminarea trecută.
Scufundare în profunzime
Reuters a raportat în octombrie 2018 că Amazon a construit și apoi a abandonat în liniște un instrument de învățare automată pentru clasificarea candidaților la locuri de muncă. O echipă a început lucrul în jurul anului 2014. Scopul a fost să alimenteze un teanc de CV-uri și să-i readucă pe primii câțiva candidați de angajat. Modelele au fost instruite pe CV-urile transmise companiei de-a lungul a zece ani și au învățat ce tipare tind să se potrivească cu oamenii care au fost angajați. Majoritatea solicitanților pentru roluri tehnice au fost bărbați, așa că modelele pe care modelul le-a învățat erau codificate pentru bărbați. Până în 2015, echipa a văzut că sistemul nu a evaluat candidații pentru dezvoltatori de software și alte locuri de muncă tehnice într-un mod neutru din punct de vedere al genului. Potrivit Reuters, a penalizat CV-urile care conțineau cuvântul „femei”, ca în „căpitanul clubului de șah al femeilor”, și a retrogradat absolvenții a două colegii pentru femei. De asemenea, a favorizat verbe precum „executat” și „capturat”, care apăreau mai des pe CV-urile bărbaților. Inginerii au editat modelele pentru a fi neutre față de acești termeni particulari. Acest lucru nu a oferit nicio garanție că sistemul nu va găsi alte modalități de a sorta candidații la fel de discriminatori. Proiectul a pierdut sprijinul, iar echipa a fost desființată până la începutul lui 2017. Amazon a spus că instrumentul nu a fost niciodată folosit de recrutorii săi pentru a evalua candidații. Reuters a raportat că recrutorii s-au uitat la recomandările sale, dar nu s-au bazat doar pe ele. Lecția cheie este că eticheta de formare a fost problema. Modelul a prezis cu exactitate pe cine a angajat Amazon înainte, iar acele decizii anterioare de angajare au conținut părtinire. O concepție greșită comună este că algoritmul „a devenit sexist” de la sine. De fapt, a învățat exact ce au recompensat datele. O alta este că eliminarea genului rezolvă problema. Textul conține multe proxy corelate, iar un model flexibil le va găsi. Cazul apare acum în dezbateri de reglementare, inclusiv legea de audit de părtinire a orașului New York pentru instrumentele automate de angajare și clasificarea sistemelor de ocupare a forței de muncă din Legea UE AI ca fiind cu risc ridicat.
Impact strategic
Risc și siguranță
Daunele catastrofale și cotidiene ale IA depind de cine înțelege riscurile și cine poate acționa.
Decizii mai clare
Educația publică și profesională influențează dacă o politică puternică de siguranță este posibilă din punct de vedere politic.
Tăierea hype-ului
Explicațiile clare reduc captarea de hype, PR de laborator și teatrul vag de etică.
Viitorul instrumentului de recrutare AI abandonat de la Amazon
Angajarea trece de la filtre de cuvinte cheie la modele mari de limbă care rezumă și clasifică candidații, iar acest lucru ridică același risc la scară mai mare. Autoritățile de reglementare răspund. Orașul New York necesită audituri de părtinire pentru instrumentele automate de decizie de angajare, iar Legea UE AI clasifică sistemele de recrutare ca fiind cu risc ridicat, obligațiile fiind introduse treptat. În SUA, legea anti-discriminare existentă, cum ar fi Titlul VII, se aplică în continuare instrumentelor algoritmice, chiar dacă îndrumările agențiilor federale s-au schimbat. Metodele de audit sunt încă în curs de maturizare, iar un audit de trecere a unui set de date nu garantează corectitudinea în altă parte. Lecția de durată a cazului Amazon este de a pune la îndoială ce anume este antrenat să prezică un model înainte de a avea încredere cât de bine îl prezice.
Implementare în lumea reală
Un CV care să indice „căpitanul clubului de șah feminin” ar avea un scor mai mic, deoarece în datele de antrenament cuvântul „femei” a apărut rar pe CV-urile persoanelor care au fost angajate.
Un angajator din New York care folosește un instrument automat pentru a selecta candidații trebuie să comandă un audit independent de părtinire și să publice un rezumat în conformitate cu Legea locală 144, o cerință modelată de cazuri precum Amazon.
Un furnizor dezactivează câmpurile de gen și cuvintele cu gen dintr-un model de screening. Un test de impact disparat arată apoi că femeile încă trec cu mai puțin de patru cincimi din rata bărbaților, din cauza proxy-urilor precum hobby-uri sau nume de colegiu.
O companie recalifică un model de clasare pentru a prezice „angajații de succes” și constată că eticheta în sine reflectă decizii părtinitoare de promovare. Se trece la evaluări structurate, legate de locuri de muncă, ca țintă de formare.
Riscuri și balustrade
Tratarea riscului existențial ca SF în timp ce capacitatea se agravează.
Confuză siguranța produsului de suprafață cu alinierea sub autonomie ridicată.
Lăsând audiențe non-engleze și neexperte doar surse de calitate scăzută.
Foaia de parcurs de implementare
Separați riscurile de deteriorare a produsului, utilizare greșită și pierderea controlului / dezaliniere.
Întrebați ce dovezi v-ar schimba punctul de vedere cu privire la termene și severitate.
Preferați sursele primare și evaluările concrete față de afirmațiile de marketing.
Identificați o singură cale de acțiune: carieră, politică, finanțare sau abilități - nu numai conștientizare.
Continuați să explorați
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Amazon's Scrapped AI Recruiting Tool quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Întrebări frecvente
Ce este instrumentul de recrutare AI abandonat de la Amazon?
Instrumentul de recrutare AI al Amazon a fost un sistem experimental, început în jurul anului 2014, care a evaluat CV-urile solicitanților de locuri de muncă de la una la cinci stele, învățând din zece ani de CV-uri anterioare. Amazon a abandonat-o după ce a constatat că penaliza CV-urile asociate femeilor. Acum este exemplul standard al modului în care modelele antrenate pe decizii istorice reproduc discriminarea trecută.
Pe ce date a fost instruit modelul de recrutare al lui Amazon?
Modelul a învățat din aproximativ zece ani de CV-uri depuse la Amazon, iar majoritatea solicitanților pentru roluri tehnice au fost bărbați.
Ce cuvânt a raportat Reuters că modelul a penalizat?
CV-urile care conțineau „femei”, ca în „căpitanul clubului de șah pentru femei”, au fost retrogradate. „Executate” și „capturate” au fost favorizate, nu penalizate.
De ce editarea modelului pentru a ignora termenii specifici de gen nu a reușit să rezolve problema?
Blocarea câtorva cuvinte nu înlătură semnalele corelate răspândite prin text, astfel încât modelul ar putea discrimina în continuare prin alte proxy.
Care este lecția centrală despre eticheta de formare în acest caz?
Modelul a prezis cine fusese angajat înainte. Deoarece angajarea trecută a fost denaturată, eticheta a codificat acea declinare, iar modelul a reprodus-o.
Ce verbe a favorizat modelul, deoarece au apărut mai des pe CV-urile bărbaților?
Reuters a raportat că modelul a preferat „executat” și „capturat”, care erau mai frecvente pe CV-urile bărbaților, un exemplu de caracteristici subtile de proxy.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect