GUIDA alle aziende

Caso di bias del ritaglio delle immagini di Twitter

L’audit del 2021 di Twitter sul suo modello di salienza dell’anteprima delle immagini ha rilevato piccole disparità di selezione in un esperimento controllato di immagini accoppiate: una differenza dell’8% rispetto alla parità a favore delle donne, del 4% a favore dei bianchi rispetto ai neri e del 7% a favore dei bianchi rispetto alle donne nere.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina3 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro del caso del bias del ritaglio delle immagini di Twitter
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

L'azienda non ha riscontrato alcun ritaglio sistematico dello "sguardo maschile" nel suo controllo separato di 100 immagini per gruppo e ha sostituito il ritaglio automatico con anteprime dell'immagine intera.

Immersione profonda

Twitter ha utilizzato un modello di salienza a partire dal 2018 per scegliere un punto focale per le anteprime delle immagini. Il modello è stato addestrato sui dati di tracciamento dell'occhio umano, ha assegnato punteggi di salienza alle regioni dell'immagine e ha centrato un ritaglio sul punto con il punteggio più alto. Questa comodità ha anche tolto il controllo delle colture agli autori. Nel 2020, gli utenti hanno pubblicato esempi in cui persone o donne di colore apparivano escluse dalle anteprime, spingendo Twitter a pubblicare un’analisi iniziale e successivamente un audit più ampio. Nel maggio 2021, Twitter ha descritto un esperimento con immagini accoppiate. Il team ha collegato in modo casuale immagini di individui di diversi gruppi e ha misurato la frequenza con cui il sistema selezionava ciascuna immagine come quella saliente, con il 50% come riferimento di parità demografica. Ha riportato una differenza dell'8% rispetto alla parità a favore delle donne rispetto agli uomini, del 4% a favore dei bianchi rispetto ai neri e del 7% a favore dei bianchi rispetto alle donne nere; la differenza segnalata tra uomini neri contro bianchi era del 2%. Questi sono risultati nell'ambito del progetto di test, non un censimento di tutte le immagini caricate, un resoconto causale dei dati di addestramento o una misura di tutta la possibile esperienza dell'utente. L’azienda ha testato separatamente la preoccupazione dello “sguardo maschile” utilizzando 100 immagini di presentazione maschile e 100 di presentazione femminile che avevano più regioni salienti. Ne è emerso che circa tre persone su cento in ciascun gruppo erano state ritagliate lontano dalla testa, di solito fino a dettagli dell'immagine non fisici, e non è stato segnalato alcun errore significativo di oggettivazione in quel campione. Il campione era piccolo e l’azienda ha identificato esplicitamente altri possibili danni, tra cui sfumature culturali e una ridotta capacità di utilizzo. Twitter ha lanciato anteprime a immagine intera per proporzioni standard sui dispositivi mobili dopo i test; il post di maggio 2021 afferma che la funzionalità è stata estesa a tutti. Ha caratterizzato il ritaglio delle immagini come una decisione che le persone dovrebbero prendere. Non si dica che Twitter abbia addestrato il modello a riconoscere la razza: ha previsto la rilevanza dai modelli di immagine, quindi i ricercatori hanno confrontato le selezioni tra i gruppi demografici.

Implementazione nel mondo reale

Un ricercatore riproduce il test di immagini accoppiate pubblicato e riporta i gruppi di confronto selezionati e la linea di base di parità.

Un team di prodotto consente agli autori di immagini di visualizzare in anteprima e controllare un ritaglio invece di dedurre il punto focale per loro.

Un revisore spiega perché il risultato del modello di salienza non è un’etichetta di riconoscimento della razza o una misura dell’attenzione dello spettatore in ogni contesto.

Un giornalista separa i risultati dell’audit di Twitter del 2020 dall’analisi ampliata di maggio 2021 e dal successivo cambio di visualizzazione.

Il futuro del caso del bias del ritaglio delle immagini di Twitter

Il caso illustra sia la valutazione statistica che la riprogettazione del prodotto. Twitter ha rimosso il ritaglio basato sulla salienza per le anteprime delle immagini standard dopo le critiche degli utenti e la sua analisi interna. Il post dell’azienda del 2021 è una prova storica di tale caratteristica e risposta; non stabilisce che ogni successiva superficie di visualizzazione delle immagini X utilizzi lo stesso codice o politica. Valuta le versioni distribuite e i controlli utente reali separatamente dai vecchi risultati dei benchmark. I nuovi audit dovrebbero prespecificare i gruppi di confronto, includere le preferenze dei creatori di immagini e pubblicare l’incertezza in modo che i parametri di parità non oscurino i danni di rappresentazione.

Metterlo in pratica

Perché è importante

  • Strategia del fornitore. Le roadmap dei fornitori influenzano le funzionalità che il tuo team può sviluppare successivamente.
  • Costo e budget. I termini commerciali e le opzioni di implementazione influiscono sui costi e sui rischi a lungo termine.
  • Rischio e sicurezza. Gli incentivi aziendali modellano le impostazioni predefinite dei prodotti, la postura di sicurezza e l’apertura.

Attenzione

  • Gli annunci di lancio potrebbero superare la stabilità nei flussi di lavoro di produzione reali.
  • I prezzi delle API o i cambiamenti politici possono infrangere le ipotesi da un giorno all’altro.
  • La dipendenza da un unico fornitore aumenta i costi di lock-in e di migrazione.

Prossimi passi

  1. Valuta i fornitori utilizzando le tue attività e i tuoi set di dati.
  2. Esamina la privacy, la sicurezza e i termini legali prima dell'integrazione.
  3. Mantenere un piano di riserva tra modelli o fornitori.
  4. Monitora le note di rilascio in modo che le modifiche alla roadmap non sorprendano i team.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Twitter's Image Cropping Bias Case quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Qual è il caso di bias del ritaglio delle immagini di Twitter?

L’audit del 2021 di Twitter sul suo modello di salienza dell’anteprima delle immagini ha rilevato piccole disparità di selezione in un esperimento controllato di immagini accoppiate: una differenza dell’8% rispetto alla parità a favore delle donne, del 4% a favore dei bianchi rispetto ai neri e del 7% a favore dei bianchi rispetto alle donne nere. L'azienda non ha riscontrato alcun ritaglio sistematico dello "sguardo maschile" nel suo controllo separato di 100 immagini per gruppo e ha sostituito il ritaglio automatico con anteprime dell'immagine intera.

Quali dati, secondo Twitter, hanno addestrato il suo modello di salienza di ritaglio delle immagini?

Twitter ha affermato che il modello ha appreso i punteggi di salienza dai dati di tracciamento degli occhi umani.

In che modo il modello di salienza ha posizionato un ritaglio di anteprima?

Twitter ha descritto il punteggio delle regioni dell'immagine e l'utilizzo del punto con il punteggio più alto come centro di ritaglio.

Nell’audit delle immagini accoppiate di Twitter del 2021, qual è stata la differenza segnalata rispetto alla parità per gli individui neri rispetto a quelli bianchi?

Twitter ha riportato una differenza del 4% rispetto alla parità demografica, favorendo gli individui bianchi nei confronti accoppiati bianchi/neri.

Cosa ha riportato Twitter nel suo test separato sullo “sguardo maschile”?

L'azienda ha campionato 100 immagini con presentazione maschile e 100 con presentazione femminile e ha trovato circa tre ritagli fuori testa ogni cento in ciascun gruppo.

Quale modifica al prodotto ha dichiarato Twitter di aver apportato dopo la valutazione?

Twitter ha affermato di aver lanciato la visualizzazione a immagine intera per le foto con proporzioni standard dopo i test.