Il prossimoProssima guida
COMPAS e Bias negli algoritmi di recidiva
Società
GUIDA alle aziende
L’audit del 2021 di Twitter sul suo modello di salienza dell’anteprima delle immagini ha rilevato piccole disparità di selezione in un esperimento controllato di immagini accoppiate: una differenza dell’8% rispetto alla parità a favore delle donne, del 4% a favore dei bianchi rispetto ai neri e del 7% a favore dei bianchi rispetto alle donne nere.
Ascolta questa guidaNarrato dall'IA · ~3 min
L'azienda non ha riscontrato alcun ritaglio sistematico dello "sguardo maschile" nel suo controllo separato di 100 immagini per gruppo e ha sostituito il ritaglio automatico con anteprime dell'immagine intera.
Twitter ha utilizzato un modello di salienza a partire dal 2018 per scegliere un punto focale per le anteprime delle immagini. Il modello è stato addestrato sui dati di tracciamento dell'occhio umano, ha assegnato punteggi di salienza alle regioni dell'immagine e ha centrato un ritaglio sul punto con il punteggio più alto. Questa comodità ha anche tolto il controllo delle colture agli autori. Nel 2020, gli utenti hanno pubblicato esempi in cui persone o donne di colore apparivano escluse dalle anteprime, spingendo Twitter a pubblicare un’analisi iniziale e successivamente un audit più ampio. Nel maggio 2021, Twitter ha descritto un esperimento con immagini accoppiate. Il team ha collegato in modo casuale immagini di individui di diversi gruppi e ha misurato la frequenza con cui il sistema selezionava ciascuna immagine come quella saliente, con il 50% come riferimento di parità demografica. Ha riportato una differenza dell'8% rispetto alla parità a favore delle donne rispetto agli uomini, del 4% a favore dei bianchi rispetto ai neri e del 7% a favore dei bianchi rispetto alle donne nere; la differenza segnalata tra uomini neri contro bianchi era del 2%. Questi sono risultati nell'ambito del progetto di test, non un censimento di tutte le immagini caricate, un resoconto causale dei dati di addestramento o una misura di tutta la possibile esperienza dell'utente. L’azienda ha testato separatamente la preoccupazione dello “sguardo maschile” utilizzando 100 immagini di presentazione maschile e 100 di presentazione femminile che avevano più regioni salienti. Ne è emerso che circa tre persone su cento in ciascun gruppo erano state ritagliate lontano dalla testa, di solito fino a dettagli dell'immagine non fisici, e non è stato segnalato alcun errore significativo di oggettivazione in quel campione. Il campione era piccolo e l’azienda ha identificato esplicitamente altri possibili danni, tra cui sfumature culturali e una ridotta capacità di utilizzo. Twitter ha lanciato anteprime a immagine intera per proporzioni standard sui dispositivi mobili dopo i test; il post di maggio 2021 afferma che la funzionalità è stata estesa a tutti. Ha caratterizzato il ritaglio delle immagini come una decisione che le persone dovrebbero prendere. Non si dica che Twitter abbia addestrato il modello a riconoscere la razza: ha previsto la rilevanza dai modelli di immagine, quindi i ricercatori hanno confrontato le selezioni tra i gruppi demografici.
Un ricercatore riproduce il test di immagini accoppiate pubblicato e riporta i gruppi di confronto selezionati e la linea di base di parità.
Un team di prodotto consente agli autori di immagini di visualizzare in anteprima e controllare un ritaglio invece di dedurre il punto focale per loro.
Un revisore spiega perché il risultato del modello di salienza non è un’etichetta di riconoscimento della razza o una misura dell’attenzione dello spettatore in ogni contesto.
Un giornalista separa i risultati dell’audit di Twitter del 2020 dall’analisi ampliata di maggio 2021 e dal successivo cambio di visualizzazione.
Il caso illustra sia la valutazione statistica che la riprogettazione del prodotto. Twitter ha rimosso il ritaglio basato sulla salienza per le anteprime delle immagini standard dopo le critiche degli utenti e la sua analisi interna. Il post dell’azienda del 2021 è una prova storica di tale caratteristica e risposta; non stabilisce che ogni successiva superficie di visualizzazione delle immagini X utilizzi lo stesso codice o politica. Valuta le versioni distribuite e i controlli utente reali separatamente dai vecchi risultati dei benchmark. I nuovi audit dovrebbero prespecificare i gruppi di confronto, includere le preferenze dei creatori di immagini e pubblicare l’incertezza in modo che i parametri di parità non oscurino i danni di rappresentazione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L’audit del 2021 di Twitter sul suo modello di salienza dell’anteprima delle immagini ha rilevato piccole disparità di selezione in un esperimento controllato di immagini accoppiate: una differenza dell’8% rispetto alla parità a favore delle donne, del 4% a favore dei bianchi rispetto ai neri e del 7% a favore dei bianchi rispetto alle donne nere. L'azienda non ha riscontrato alcun ritaglio sistematico dello "sguardo maschile" nel suo controllo separato di 100 immagini per gruppo e ha sostituito il ritaglio automatico con anteprime dell'immagine intera.
Twitter ha affermato che il modello ha appreso i punteggi di salienza dai dati di tracciamento degli occhi umani.
Twitter ha descritto il punteggio delle regioni dell'immagine e l'utilizzo del punto con il punteggio più alto come centro di ritaglio.
Twitter ha riportato una differenza del 4% rispetto alla parità demografica, favorendo gli individui bianchi nei confronti accoppiati bianchi/neri.
L'azienda ha campionato 100 immagini con presentazione maschile e 100 con presentazione femminile e ha trovato circa tre ritagli fuori testa ogni cento in ciascun gruppo.
Twitter ha affermato di aver lanciato la visualizzazione a immagine intera per le foto con proporzioni standard dopo i test.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
COMPAS e Bias negli algoritmi di recidiva
Società