PRŮVODCE společností

Předpojatost a stereotypy v generátorech obrázků AI

Generátory obrázků umělé inteligence často reprodukují a zveličují stereotypy, například zobrazují převážně muže jako „generální ředitel“ nebo „inženýr“, většinou lidi se světlejší pletí na vysoce postavená místa a úzké standardy krásy, protože se učí z velkých, zkreslených sbírek internetových obrázků s titulky.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost předsudků a stereotypů v generátorech obrázků AI
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Výzkumníci to měří tak, že generují mnoho obrázků pro neutrální výzvy a porovnávají, kdo se objeví. Záleží na tom, protože tyto obrázky nyní plní reklamy, učebnice a zprávy a jak předpojatost, tak nemotorné opravy mohou lidi uvést v omyl.

Hluboký ponor

Modely typu text-to-image, jako jsou Stable Diffusion, Midjourney a DALL-E, se učí propojení mezi slovy a obrázky z obrovských datových sad párů obrázek-titulek, z velké části stažených z webu; Například Stable Diffusion byl trénován na podskupinách LAION-5B. Web příliš zobrazuje některé země, jazyky, typy těla a povolání a titulky odrážejí domněnky toho, kdo je napsal. Model se pak naučí nejtypičtější obrázek pro slovo a má tendenci jej zesilovat, protože generování upřednostňuje vysoce pravděpodobné, „průměrné“ výstupy. Výzva, která neříká nic o pohlaví nebo etnickém původu, stále vytváří výchozí nastavení a toto výchozí nastavení je často stereotypem. Výzkumníci to měří několika způsoby. Běžnou metodou je generování stovek obrázků pro neutrální výzvy (povolání, přídavná jména jako „atraktivní“ nebo „chudý“, národnosti) a označení vnímaného pohlaví, odstínu pleti nebo věku, někdy porovnáváno s pracovními statistikami. Projekt „Stable Bias“ (2023) výzkumníků Hugging Face (2023) používal shlukování výstupů modelu spíše než přímé přidělování štítků, částečně proto, že označování něčí rasy z obrázku je samo o sobě obtížné. Analýza tisíců snímků Stable Diffusion podle agentury Bloomberg z roku 2023 zjistila, že vysoce placená pracovní místa se přikláněla k mužům se světlejší pletí a málo placená k tmavším odstínům pleti. Opravy jsou těžší, než se zdá. V roce 2022 OpenAI uvedl, že použil techniku, takže DALL-E 2 produkoval rozmanitější lidi, když výzvy nebyly specifikovány, široce hlášeno, že zahrnuje přidávání výrazů do výzev v zákulisí. V únoru 2024 Google pozastavil generování obrazů lidí Gemini poté, co vytvořil historicky nepřesné obrazy, jako jsou rasově odlišná zobrazení skupin, které byly historicky homogenní. Z toho plyne ponaučení, že zkreslení není jediné číslo: systém musí být reprezentativní tam, kde je výzva otevřená, a přesný tam, kde je výzva konkrétní. Obvyklá mylná představa je, že zkreslení pochází pouze z trénovacích dat; Návrh modelu, filtrování, titulky a volby po trénování, to vše také utváří výsledek.

Real-World Implementace

Učitel se zeptá generátoru obrázků na „vědce v laboratoři“ dvacetkrát a dostane téměř úplně bílé muže v laboratorních pláštích, pak přepíše výzvu, aby požadoval konkrétní, různé lidi.

Marketingový tým generující „zdravotní sestru“ a „lékaře“ si všimne, že nástroj stále dělá ze zdravotních sester ženy a lékaře muže, a přidá před obrázky do kampaně krok kontroly.

Novinář porovnává výstupy pro „dům v Nigérii“ a „dům ve Spojených státech“ a zjistí, že model je výchozí pro snímky chudoby pro jeden a předměstské domy pro druhý.

Uživatel požádá o historickou scénu konkrétní skupiny a obdrží obrázek, který vloží demografické údaje, které nebyly historicky přítomné, což ukazuje, jak může oprava diverzity přehnaně korigovat.

Budoucnost předsudků a stereotypů v generátorech obrázků AI

Očekávejte standardizovanější benchmarky zkreslení, více zveřejnění v modelových kartách a zmírnění více kontextu, které odlišuje výzvy s otevřeným koncem od historicky nebo osobně specifických. Ohledně správného cíle panuje skutečná neshoda: porovnání aktuálních statistik v reálném světě může zakořenit existující nerovnost, zatímco jednotné zobrazení může zkreslovat realitu. Tato volba je rozhodnutím o hodnotách, nikoli čistě technickým, a organizace budou pravděpodobně požádány, aby to vysvětlily. Uživatelé budou stále muset zkontrolovat vygenerované obrázky před jejich zveřejněním, zejména v oblasti vzdělávání a zpráv.

Uvedení do praxe

Proč na tom záleží

  • Riziko a bezpečnost. Katastrofické a každodenní škody AI závisí na tom, kdo rozumí rizikům a kdo může jednat.
  • Jasnější rozhodnutí. Veřejná a odborná gramotnost určuje, zda je silná bezpečnostní politika politicky možná.
  • Prorážením humbuku. Jasná vysvětlení snižují zachytávání humbukem, PR v laboratoři a vágní etické divadlo.

Pozor na

  • Zacházení s existenčním rizikem jako sci-fi, zatímco schopnosti kombinují.
  • Matoucí bezpečnost povrchových produktů se zarovnáním pod vysokou autonomií.
  • Neanglické a neodborné publikum ponechává pouze nekvalitní zdroje.

Další kroky

  1. Oddělte rizika poškození produktu, nesprávného použití a ztráty kontroly/nesouladu.
  2. Zeptejte se, jaké důkazy by změnily váš pohled na časové osy a závažnost.
  3. Upřednostňujte primární zdroje a konkrétní hodnocení před marketingovými tvrzeními.
  4. Identifikujte jednu akční cestu: kariéru, politiku, financování nebo dovednosti – nejen povědomí.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Bias and Stereotypes in AI Image Generators quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je zkreslení a stereotypy v generátorech obrázků AI?

Generátory obrázků umělé inteligence často reprodukují a zveličují stereotypy, například zobrazují převážně muže jako „generální ředitel“ nebo „inženýr“, většinou lidi se světlejší pletí na vysoce postavená místa a úzké standardy krásy, protože se učí z velkých, zkreslených sbírek internetových obrázků s titulky. Výzkumníci to měří tak, že generují mnoho obrázků pro neutrální výzvy a porovnávají, kdo se objeví. Záleží na tom, protože tyto obrázky nyní plní reklamy, učebnice a zprávy a jak předpojatost, tak nemotorné opravy mohou lidi uvést v omyl.

Proč výzva, která nezmiňuje pohlaví nebo etnický původ, stále vytváří zaujatý obraz?

Bez specifikace vytváří model výchozí nastavení s vysokou pravděpodobností a toto výchozí nastavení odráží a často zesiluje stereotypy v jeho trénovacích datech.

Z jakých dat se modely jako Stable Diffusion učí?

Datové sady, jako je LAION-5B, obsahují miliardy webů seškrábaných párů obrázek-text, které nesou nerovnováhu webu.

Jaká je běžná metoda, kterou výzkumníci používají k měření zkreslení v generátorech obrázků?

Výzkumníci generují stovky obrázků na neutrální výzvu a analyzují vnímané atributy, někdy proti statistikám ze skutečného světa.

Proč projekt Stable Bias používal shlukování místo přímého označování rasy?

Přiřazování rasy podle vzhledu je nespolehlivé a eticky problematické, takže shlukování výstupů bylo způsobem, jak porovnávat modely bez vnucování štítků.

Co zjistila Bloomberg analýza obrázků Stable Diffusion z roku 2023?

Analýza zjistila, že vysoce placená povolání jsou vychýlená směrem k mužům se světlejší pletí a hůře placená k tmavším tónům pleti.