GUIDA della Società

Strumento di reclutamento AI scartato di Amazon

Lo strumento di reclutamento basato sull'intelligenza artificiale di Amazon era un sistema sperimentale, avviato intorno al 2014, che valutava i curriculum dei candidati a un posto di lavoro da una a cinque stelle imparando da dieci anni di curriculum precedenti.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro dello strumento di reclutamento AI scartato di Amazon
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Amazon lo ha abbandonato dopo aver scoperto che penalizzava i curriculum associati alle donne. Ora è l’esempio standard di come i modelli formati su decisioni storiche riproducono la discriminazione del passato.

Immersione profonda

Reuters ha riferito nell'ottobre 2018 che Amazon aveva creato, e poi tranquillamente demolito, uno strumento di apprendimento automatico per classificare i candidati al lavoro. Un team ha iniziato il lavoro intorno al 2014. L’obiettivo era quello di inserire una serie di curriculum e riportare i primi candidati da assumere. I modelli sono stati formati sui curriculum presentati all'azienda nell'arco di dieci anni e hanno appreso quali modelli tendevano ad adattarsi alle persone assunte. La maggior parte dei candidati per ruoli tecnici erano uomini, quindi i modelli appresi dal modello erano codificati da uomini. Nel 2015, il team ha notato che il sistema non valutava i candidati per sviluppatori di software e altri lavori tecnici in modo neutro rispetto al genere. Secondo Reuters, ha penalizzato i curriculum contenenti la parola "donne", come in "capitano del club di scacchi femminile", e ha declassato i laureati di due college femminili. Prediligeva anche verbi come "giustiziato" e "catturato", che apparivano più spesso nei curriculum degli uomini. Gli ingegneri hanno modificato i modelli in modo che fossero neutrali rispetto a quei termini particolari. Ciò non garantiva che il sistema non avrebbe trovato altri modi altrettanto discriminatori per selezionare i candidati. Il progetto ha perso sostegno e il team è stato sciolto all'inizio del 2017. Amazon ha affermato che lo strumento non è mai stato utilizzato dai reclutatori per valutare i candidati. Reuters ha riferito che i reclutatori hanno esaminato le sue raccomandazioni ma non hanno fatto affidamento solo su di esse. La lezione chiave è che il problema era l’etichetta di formazione. Il modello prevedeva con precisione chi Amazon aveva assunto in precedenza e le precedenti decisioni di assunzione contenevano errori. Un malinteso comune è che l’algoritmo “sia diventato sessista” da solo. In effetti ha imparato esattamente cosa hanno premiato i dati. Un’altra è che la rimozione del genere risolve il problema. Il testo contiene molti proxy correlati e un modello flessibile li troverà. Il caso ora emerge nei dibattiti normativi, tra cui la legge di New York City sul bias audit per gli strumenti di assunzione automatizzati e la classificazione dei sistemi di impiego come ad alto rischio da parte dell’EU AI Act.

Implementazione nel mondo reale

Un curriculum che elencasse "capitano del club di scacchi femminile" avrebbe un punteggio inferiore, perché nei dati di formazione la parola "donne" appariva raramente sui curriculum delle persone assunte.

Un datore di lavoro di New York che utilizza uno strumento automatizzato per selezionare i candidati deve commissionare un audit indipendente sui pregiudizi e pubblicare un riepilogo ai sensi della legge locale 144, un requisito modellato da casi come quello di Amazon.

Un fornitore rimuove i campi di genere e le parole legate al genere da un modello di screening. Un test di impatto disparato mostra quindi che le donne continuano a superare i quattro quinti rispetto agli uomini, a causa di indicatori come gli hobby o i nomi del college.

Un'azienda riqualifica un modello di classificazione per prevedere i "dipendenti di successo" e scopre che l'etichetta stessa riflette decisioni di promozione distorte. Si passa a valutazioni strutturate delle competenze legate al lavoro come obiettivo della formazione.

Il futuro dello strumento di reclutamento AI scartato di Amazon

Le assunzioni si stanno spostando dai filtri basati su parole chiave a modelli linguistici di grandi dimensioni che riassumono e classificano i candidati, e questo aumenta lo stesso rischio su scala più ampia. I regolatori stanno rispondendo. La città di New York richiede controlli sui pregiudizi per gli strumenti decisionali automatizzati in materia di assunzione e l’EU AI Act classifica i sistemi di reclutamento come ad alto rischio, con obblighi in fase di introduzione. Negli Stati Uniti, la legge antidiscriminazione esistente come il Titolo VII si applica ancora agli strumenti algoritmici, anche se le linee guida delle agenzie federali sono cambiate. I metodi di audit stanno ancora maturando e un audit positivo su un set di dati non garantisce l’equità altrove. La lezione più duratura del caso Amazon è quella di mettere in discussione ciò che un modello è addestrato a prevedere prima di fidarsi di quanto bene lo prevede.

Metterlo in pratica

Perché è importante

  • Rischio e sicurezza. I danni catastrofici e quotidiani dell’IA dipendono entrambi da chi comprende i rischi e da chi può agire.
  • Decisioni più chiare. L’alfabetizzazione pubblica e professionale determina la possibilità politica di una forte politica di sicurezza.
  • Tagliare il clamore. Spiegazioni chiare riducono la cattura da parte di montature pubblicitarie, PR di laboratorio e vaghi teatrini etici.

Attenzione

  • Trattare il rischio esistenziale come fantascienza mentre le capacità si aggravano.
  • Confondere la sicurezza del prodotto superficiale con l'allineamento in condizioni di elevata autonomia.
  • Lasciando il pubblico non inglese e non esperto solo con fonti di bassa qualità.

Prossimi passi

  1. Separare i rischi di danni al prodotto, uso improprio e perdita di controllo/disallineamento.
  2. Chiedi quali prove cambierebbero la tua opinione sulle tempistiche e sulla gravità.
  3. Preferire fonti primarie e valutazioni concrete alle affermazioni di marketing.
  4. Identifica un percorso d’azione: carriera, politica, finanziamenti o competenze, non solo consapevolezza.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Amazon's Scrapped AI Recruiting Tool quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Cos'è lo strumento di reclutamento AI scartato di Amazon?

Lo strumento di reclutamento basato sull'intelligenza artificiale di Amazon era un sistema sperimentale, avviato intorno al 2014, che valutava i curriculum dei candidati a un posto di lavoro da una a cinque stelle imparando da dieci anni di curriculum precedenti. Amazon lo ha abbandonato dopo aver scoperto che penalizzava i curriculum associati alle donne. Ora è l’esempio standard di come i modelli formati su decisioni storiche riproducono la discriminazione del passato.

Su quali dati è stato addestrato il modello di reclutamento di Amazon?

Il modello si basa su circa dieci anni di curriculum presentati a Amazon e la maggior parte dei candidati per ruoli tecnici erano uomini.

Quale parola ha riportato la Reuters sulla modella penalizzata?

I curriculum contenenti "donne", come in "capitano del club di scacchi femminile", sono stati declassati. "Giustiziati" e "catturati" erano favoriti, non penalizzati.

Perché la modifica del modello per ignorare termini di genere specifici non è riuscita a risolvere il problema?

Bloccare alcune parole non rimuove i segnali correlati diffusi nel testo, quindi il modello potrebbe comunque discriminare attraverso altri proxy.

Qual è la lezione centrale sull’etichetta formativa in questo caso?

Il modello prevedeva chi era stato assunto in precedenza. Poiché le assunzioni passate erano distorte, l’etichetta ha codificato tale distorsione e il modello lo ha riprodotto.

Quali verbi sarebbero stati preferiti dal modello perché apparivano più spesso nei curriculum degli uomini?

Reuters ha riferito che il modello privilegiava "giustiziato" e "catturato", che erano più comuni nei curriculum degli uomini, un esempio di sottili caratteristiche proxy.