Il prossimoProssima guida
Caso di bias del ritaglio delle immagini di Twitter
Aziende
GUIDA della Società
Lo strumento di reclutamento basato sull'intelligenza artificiale di Amazon era un sistema sperimentale, avviato intorno al 2014, che valutava i curriculum dei candidati a un posto di lavoro da una a cinque stelle imparando da dieci anni di curriculum precedenti.
Ascolta questa guidaNarrato dall'IA · ~3 min
Amazon lo ha abbandonato dopo aver scoperto che penalizzava i curriculum associati alle donne. Ora è l’esempio standard di come i modelli formati su decisioni storiche riproducono la discriminazione del passato.
Reuters ha riferito nell'ottobre 2018 che Amazon aveva creato, e poi tranquillamente demolito, uno strumento di apprendimento automatico per classificare i candidati al lavoro. Un team ha iniziato il lavoro intorno al 2014. L’obiettivo era quello di inserire una serie di curriculum e riportare i primi candidati da assumere. I modelli sono stati formati sui curriculum presentati all'azienda nell'arco di dieci anni e hanno appreso quali modelli tendevano ad adattarsi alle persone assunte. La maggior parte dei candidati per ruoli tecnici erano uomini, quindi i modelli appresi dal modello erano codificati da uomini. Nel 2015, il team ha notato che il sistema non valutava i candidati per sviluppatori di software e altri lavori tecnici in modo neutro rispetto al genere. Secondo Reuters, ha penalizzato i curriculum contenenti la parola "donne", come in "capitano del club di scacchi femminile", e ha declassato i laureati di due college femminili. Prediligeva anche verbi come "giustiziato" e "catturato", che apparivano più spesso nei curriculum degli uomini. Gli ingegneri hanno modificato i modelli in modo che fossero neutrali rispetto a quei termini particolari. Ciò non garantiva che il sistema non avrebbe trovato altri modi altrettanto discriminatori per selezionare i candidati. Il progetto ha perso sostegno e il team è stato sciolto all'inizio del 2017. Amazon ha affermato che lo strumento non è mai stato utilizzato dai reclutatori per valutare i candidati. Reuters ha riferito che i reclutatori hanno esaminato le sue raccomandazioni ma non hanno fatto affidamento solo su di esse. La lezione chiave è che il problema era l’etichetta di formazione. Il modello prevedeva con precisione chi Amazon aveva assunto in precedenza e le precedenti decisioni di assunzione contenevano errori. Un malinteso comune è che l’algoritmo “sia diventato sessista” da solo. In effetti ha imparato esattamente cosa hanno premiato i dati. Un’altra è che la rimozione del genere risolve il problema. Il testo contiene molti proxy correlati e un modello flessibile li troverà. Il caso ora emerge nei dibattiti normativi, tra cui la legge di New York City sul bias audit per gli strumenti di assunzione automatizzati e la classificazione dei sistemi di impiego come ad alto rischio da parte dell’EU AI Act.
Un curriculum che elencasse "capitano del club di scacchi femminile" avrebbe un punteggio inferiore, perché nei dati di formazione la parola "donne" appariva raramente sui curriculum delle persone assunte.
Un datore di lavoro di New York che utilizza uno strumento automatizzato per selezionare i candidati deve commissionare un audit indipendente sui pregiudizi e pubblicare un riepilogo ai sensi della legge locale 144, un requisito modellato da casi come quello di Amazon.
Un fornitore rimuove i campi di genere e le parole legate al genere da un modello di screening. Un test di impatto disparato mostra quindi che le donne continuano a superare i quattro quinti rispetto agli uomini, a causa di indicatori come gli hobby o i nomi del college.
Un'azienda riqualifica un modello di classificazione per prevedere i "dipendenti di successo" e scopre che l'etichetta stessa riflette decisioni di promozione distorte. Si passa a valutazioni strutturate delle competenze legate al lavoro come obiettivo della formazione.
Le assunzioni si stanno spostando dai filtri basati su parole chiave a modelli linguistici di grandi dimensioni che riassumono e classificano i candidati, e questo aumenta lo stesso rischio su scala più ampia. I regolatori stanno rispondendo. La città di New York richiede controlli sui pregiudizi per gli strumenti decisionali automatizzati in materia di assunzione e l’EU AI Act classifica i sistemi di reclutamento come ad alto rischio, con obblighi in fase di introduzione. Negli Stati Uniti, la legge antidiscriminazione esistente come il Titolo VII si applica ancora agli strumenti algoritmici, anche se le linee guida delle agenzie federali sono cambiate. I metodi di audit stanno ancora maturando e un audit positivo su un set di dati non garantisce l’equità altrove. La lezione più duratura del caso Amazon è quella di mettere in discussione ciò che un modello è addestrato a prevedere prima di fidarsi di quanto bene lo prevede.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Lo strumento di reclutamento basato sull'intelligenza artificiale di Amazon era un sistema sperimentale, avviato intorno al 2014, che valutava i curriculum dei candidati a un posto di lavoro da una a cinque stelle imparando da dieci anni di curriculum precedenti. Amazon lo ha abbandonato dopo aver scoperto che penalizzava i curriculum associati alle donne. Ora è l’esempio standard di come i modelli formati su decisioni storiche riproducono la discriminazione del passato.
Il modello si basa su circa dieci anni di curriculum presentati a Amazon e la maggior parte dei candidati per ruoli tecnici erano uomini.
I curriculum contenenti "donne", come in "capitano del club di scacchi femminile", sono stati declassati. "Giustiziati" e "catturati" erano favoriti, non penalizzati.
Bloccare alcune parole non rimuove i segnali correlati diffusi nel testo, quindi il modello potrebbe comunque discriminare attraverso altri proxy.
Il modello prevedeva chi era stato assunto in precedenza. Poiché le assunzioni passate erano distorte, l’etichetta ha codificato tale distorsione e il modello lo ha riprodotto.
Reuters ha riferito che il modello privilegiava "giustiziato" e "catturato", che erano più comuni nei curriculum degli uomini, un esempio di sottili caratteristiche proxy.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Caso di bias del ritaglio delle immagini di Twitter
Aziende