DalšíDalší průvodce
AI Image Generators ve výtvarné třídě
Vizuální AI
PRŮVODCE společností
Generátory obrázků umělé inteligence často reprodukují a zveličují stereotypy, například zobrazují převážně muže jako „generální ředitel“ nebo „inženýr“, většinou lidi se světlejší pletí na vysoce postavená místa a úzké standardy krásy, protože se učí z velkých, zkreslených sbírek internetových obrázků s titulky.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Výzkumníci to měří tak, že generují mnoho obrázků pro neutrální výzvy a porovnávají, kdo se objeví. Záleží na tom, protože tyto obrázky nyní plní reklamy, učebnice a zprávy a jak předpojatost, tak nemotorné opravy mohou lidi uvést v omyl.
Modely typu text-to-image, jako jsou Stable Diffusion, Midjourney a DALL-E, se učí propojení mezi slovy a obrázky z obrovských datových sad párů obrázek-titulek, z velké části stažených z webu; Například Stable Diffusion byl trénován na podskupinách LAION-5B. Web příliš zobrazuje některé země, jazyky, typy těla a povolání a titulky odrážejí domněnky toho, kdo je napsal. Model se pak naučí nejtypičtější obrázek pro slovo a má tendenci jej zesilovat, protože generování upřednostňuje vysoce pravděpodobné, „průměrné“ výstupy. Výzva, která neříká nic o pohlaví nebo etnickém původu, stále vytváří výchozí nastavení a toto výchozí nastavení je často stereotypem. Výzkumníci to měří několika způsoby. Běžnou metodou je generování stovek obrázků pro neutrální výzvy (povolání, přídavná jména jako „atraktivní“ nebo „chudý“, národnosti) a označení vnímaného pohlaví, odstínu pleti nebo věku, někdy porovnáváno s pracovními statistikami. Projekt „Stable Bias“ (2023) výzkumníků Hugging Face (2023) používal shlukování výstupů modelu spíše než přímé přidělování štítků, částečně proto, že označování něčí rasy z obrázku je samo o sobě obtížné. Analýza tisíců snímků Stable Diffusion podle agentury Bloomberg z roku 2023 zjistila, že vysoce placená pracovní místa se přikláněla k mužům se světlejší pletí a málo placená k tmavším odstínům pleti. Opravy jsou těžší, než se zdá. V roce 2022 OpenAI uvedl, že použil techniku, takže DALL-E 2 produkoval rozmanitější lidi, když výzvy nebyly specifikovány, široce hlášeno, že zahrnuje přidávání výrazů do výzev v zákulisí. V únoru 2024 Google pozastavil generování obrazů lidí Gemini poté, co vytvořil historicky nepřesné obrazy, jako jsou rasově odlišná zobrazení skupin, které byly historicky homogenní. Z toho plyne ponaučení, že zkreslení není jediné číslo: systém musí být reprezentativní tam, kde je výzva otevřená, a přesný tam, kde je výzva konkrétní. Obvyklá mylná představa je, že zkreslení pochází pouze z trénovacích dat; Návrh modelu, filtrování, titulky a volby po trénování, to vše také utváří výsledek.
Učitel se zeptá generátoru obrázků na „vědce v laboratoři“ dvacetkrát a dostane téměř úplně bílé muže v laboratorních pláštích, pak přepíše výzvu, aby požadoval konkrétní, různé lidi.
Marketingový tým generující „zdravotní sestru“ a „lékaře“ si všimne, že nástroj stále dělá ze zdravotních sester ženy a lékaře muže, a přidá před obrázky do kampaně krok kontroly.
Novinář porovnává výstupy pro „dům v Nigérii“ a „dům ve Spojených státech“ a zjistí, že model je výchozí pro snímky chudoby pro jeden a předměstské domy pro druhý.
Uživatel požádá o historickou scénu konkrétní skupiny a obdrží obrázek, který vloží demografické údaje, které nebyly historicky přítomné, což ukazuje, jak může oprava diverzity přehnaně korigovat.
Očekávejte standardizovanější benchmarky zkreslení, více zveřejnění v modelových kartách a zmírnění více kontextu, které odlišuje výzvy s otevřeným koncem od historicky nebo osobně specifických. Ohledně správného cíle panuje skutečná neshoda: porovnání aktuálních statistik v reálném světě může zakořenit existující nerovnost, zatímco jednotné zobrazení může zkreslovat realitu. Tato volba je rozhodnutím o hodnotách, nikoli čistě technickým, a organizace budou pravděpodobně požádány, aby to vysvětlily. Uživatelé budou stále muset zkontrolovat vygenerované obrázky před jejich zveřejněním, zejména v oblasti vzdělávání a zpráv.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Generátory obrázků umělé inteligence často reprodukují a zveličují stereotypy, například zobrazují převážně muže jako „generální ředitel“ nebo „inženýr“, většinou lidi se světlejší pletí na vysoce postavená místa a úzké standardy krásy, protože se učí z velkých, zkreslených sbírek internetových obrázků s titulky. Výzkumníci to měří tak, že generují mnoho obrázků pro neutrální výzvy a porovnávají, kdo se objeví. Záleží na tom, protože tyto obrázky nyní plní reklamy, učebnice a zprávy a jak předpojatost, tak nemotorné opravy mohou lidi uvést v omyl.
Bez specifikace vytváří model výchozí nastavení s vysokou pravděpodobností a toto výchozí nastavení odráží a často zesiluje stereotypy v jeho trénovacích datech.
Datové sady, jako je LAION-5B, obsahují miliardy webů seškrábaných párů obrázek-text, které nesou nerovnováhu webu.
Výzkumníci generují stovky obrázků na neutrální výzvu a analyzují vnímané atributy, někdy proti statistikám ze skutečného světa.
Přiřazování rasy podle vzhledu je nespolehlivé a eticky problematické, takže shlukování výstupů bylo způsobem, jak porovnávat modely bez vnucování štítků.
Analýza zjistila, že vysoce placená povolání jsou vychýlená směrem k mužům se světlejší pletí a hůře placená k tmavším tónům pleti.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
AI Image Generators ve výtvarné třídě
Vizuální AI