PANDUAN Masyarakat

Bias dan Stereotaip dalam Penjana Imej AI

Penjana imej AI sering menghasilkan semula dan membesar-besarkan stereotaip, contohnya menunjukkan kebanyakan lelaki untuk 'CEO' atau 'jurutera', kebanyakannya berkulit cerah untuk pekerjaan berstatus tinggi, dan piawaian kecantikan yang sempit, kerana mereka belajar daripada koleksi imej internet berkapsyen yang besar dan condong.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Bias dan Stereotaip dalam Penjana Imej AI
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Penyelidik mengukur ini dengan menjana banyak imej untuk gesaan neutral dan membandingkan siapa yang muncul. Ini penting kerana imej ini kini mengisi iklan, buku teks dan berita, dan kedua-dua pembetulan berat sebelah dan kekok boleh mengelirukan orang.

Menyelam dalam

Text-to-image models such as Stable Diffusion, Midjourney and DALL-E learn the link between words and pictures from huge datasets of image-caption pairs, largely scraped from the web; Stable Diffusion, for example, was trained on subsets of LAION-5B. The web over-represents some countries, languages, body types and occupations, and captions reflect the assumptions of whoever wrote them. The model then learns the most typical picture for a word and tends to amplify it, because generation favors high-probability, 'average' outputs. A prompt that says nothing about gender or ethnicity still produces a default, and that default is often the stereotype. Researchers measure this in a few ways. A common method is to generate hundreds of images for neutral prompts (occupations, adjectives like 'attractive' or 'poor', nationalities) and label perceived gender, skin tone or age, sometimes compared against labor statistics. Hugging Face researchers' 'Stable Bias' project (2023) used clustering of model outputs rather than assigning labels directly, partly because labeling someone's race from a picture is itself fraught. A 2023 Bloomberg analysis of thousands of Stable Diffusion images found that high-paying jobs skewed toward lighter-skinned men and low-paying jobs toward darker skin tones. Fixes are harder than they look. In 2022 OpenAI said it applied a technique so DALL-E 2 produced more diverse people when prompts did not specify, widely reported to involve adding terms to prompts behind the scenes. In February 2024 Google paused Gemini's generation of images of people after it produced historically inaccurate images, such as racially diverse depictions of groups that were historically homogeneous. The lesson is that bias is not a single dial: a system must be representative where the prompt is open and accurate where the prompt is specific. A common misconception is that bias only comes from the training data; model design, filtering, captioning and post-training choices all shape the result too.

Pelaksanaan Dunia Sebenar

Seorang guru meminta penjana imej untuk 'seorang saintis dalam makmal' sebanyak dua puluh kali dan mendapatkan hampir keseluruhan lelaki kulit putih berkot makmal, kemudian menulis semula gesaan untuk meminta orang yang khusus dan pelbagai.

Pasukan pemasaran yang menjana 'jururawat' dan 'doktor' menyedari alat itu terus menjadikan jururawat wanita dan doktor lelaki, dan menambah langkah semakan sebelum imej memasuki kempen.

Seorang wartawan membandingkan output untuk 'sebuah rumah di Nigeria' dan 'sebuah rumah di Amerika Syarikat' dan mendapati model lalai kepada imej kemiskinan untuk satu dan rumah pinggir bandar untuk yang lain.

Seorang pengguna meminta pemandangan sejarah kumpulan tertentu dan menerima imej yang menyisipkan demografi yang tidak wujud mengikut sejarah, menunjukkan cara pembetulan kepelbagaian boleh mengatasi pembetulan.

Masa Depan Bias dan Stereotaip dalam Penjana Imej AI

Jangkakan lebih banyak penanda aras berat sebelah piawai, lebih banyak pendedahan dalam kad model, dan lebih banyak mitigasi yang sedar konteks yang membezakan gesaan terbuka daripada gesaan khusus sejarah atau peribadi. Terdapat perselisihan faham yang tulen tentang sasaran yang betul: pemadanan statistik dunia sebenar semasa boleh mengukuhkan ketidaksamaan sedia ada, manakala perwakilan seragam boleh menyalahgambarkan realiti. Pilihan itu ialah keputusan nilai, bukan keputusan teknikal semata-mata, dan organisasi mungkin diminta untuk menjelaskannya. Pengguna masih perlu menyemak imej yang dijana sebelum menerbitkannya, terutamanya dalam pendidikan dan berita.

Mempraktikkannya

Mengapa ia penting

  • Risiko dan keselamatan. Kemudaratan AI malapetaka dan setiap hari bergantung pada siapa yang memahami risiko dan siapa yang boleh bertindak.
  • Keputusan yang lebih jelas. Celik awam dan profesional membentuk sama ada dasar keselamatan yang kukuh adalah mungkin dari segi politik.
  • Memotong keterujaan. Penjelasan yang jelas mengurangkan tangkapan oleh gembar-gembur, PR makmal dan teater etika yang tidak jelas.

Berhati-hati untuk

  • Merawat risiko kewujudan sebagai sci-fi manakala sebatian keupayaan.
  • Mengelirukan keselamatan produk permukaan dengan penjajaran di bawah autonomi tinggi.
  • Meninggalkan khalayak bukan Inggeris dan bukan pakar dengan hanya sumber berkualiti rendah.

Langkah seterusnya

  1. Asingkan bahaya produk, penyalahgunaan dan kehilangan kawalan / risiko salah jajaran.
  2. Tanya apakah bukti yang akan mengubah pandangan anda tentang garis masa dan keterukan.
  3. Lebih suka sumber utama dan penilaian konkrit berbanding tuntutan pemasaran.
  4. Kenal pasti satu laluan tindakan: kerjaya, dasar, pembiayaan atau kemahiran — bukan sahaja kesedaran.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Ambil kuiz Bias dan Stereotaip dalam AI Image Generators

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Bias dan Stereotaip dalam Penjana Imej AI?

Penjana imej AI sering menghasilkan semula dan membesar-besarkan stereotaip, contohnya menunjukkan kebanyakan lelaki untuk 'CEO' atau 'jurutera', kebanyakannya berkulit cerah untuk pekerjaan berstatus tinggi, dan piawaian kecantikan yang sempit, kerana mereka belajar daripada koleksi imej internet berkapsyen yang besar dan condong. Penyelidik mengukur ini dengan menjana banyak imej untuk gesaan neutral dan membandingkan siapa yang muncul. Ini penting kerana imej ini kini mengisi iklan, buku teks dan berita, dan kedua-dua pembetulan berat sebelah dan kekok boleh mengelirukan orang.

Mengapakah gesaan yang tidak menyebut jantina atau etnik masih menghasilkan imej yang berat sebelah?

Tanpa spesifikasi, model menghasilkan lalai berkemungkinan tinggi, dan lalai itu mencerminkan dan sering menguatkan stereotaip dalam data latihannya.

Apakah jenis data yang dipelajari oleh model seperti Stable Diffusion?

Set data seperti LAION-5B mengandungi berbilion pasangan teks imej yang dikikis web, yang membawa ketidakseimbangan web.

Apakah kaedah yang biasa digunakan penyelidik untuk mengukur berat sebelah dalam penjana imej?

Penyelidik menjana beratus-ratus imej setiap gesaan neutral dan menganalisis sifat yang dirasakan, kadangkala terhadap statistik dunia sebenar.

Mengapakah projek Stable Bias menggunakan pengelompokan dan bukannya terus melabelkan kaum?

Menetapkan kaum daripada penampilan adalah tidak boleh dipercayai dan bermasalah dari segi etika, jadi pengelompokan output ialah cara untuk membandingkan model tanpa mengenakan label.

Apakah yang ditemui oleh analisis Bloomberg 2023 bagi imej Stable Diffusion?

Analisis mendapati pekerjaan bergaji tinggi condong ke arah lelaki berkulit cerah dan yang bergaji rendah ke arah warna kulit yang lebih gelap.