DalšíDalší průvodce
Západocentrické zkreslení ve velkých jazykových modelech
Společnost
PRŮVODCE společností
Modely jazyků mohou reprodukovat genderové asociace nalezené v tréninkovém textu, od stereotypů v word‑embeddingu po genderované doplnění, překlady a doporučení zaměstnání.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Experimenty ukazují, že výsledky se liší podle modelu, promptu, úkolu a demografických signálů; benchmarkový výsledek by neměl být považován za důkaz o každém modelu nebo reálném rozhodnutí.
Gender bias in language technology is not one failure mode. Word embeddings encode associations between words from their training corpora. Bolukbasi and colleagues’ 2016 study showed that embedding relationships could reflect occupational stereotypes and proposed a method to remove some gender associations, while noting that not all gender information is undesirable or separable. Coreference systems can also resolve pronouns using learned associations: the WinoBias benchmark tests stereotypical and anti-stereotypical sentences to measure errors in linking pronouns to occupations. Machine translation can add gender where a source language leaves it unspecified; benchmark research has tested gendered translations across occupations and languages. Language models add generative and decision-support risks. A 2024 EMNLP study used GPT-3.5-Turbo and Llama 3-70B-Instruct to simulate hiring and salary recommendations with 320 first names signaling race and gender across 40 occupations and more than 750,000 prompts. The authors reported a preference for White female-sounding names in hiring recommendations in that experimental setup and subgroup salary recommendations that differed by as much as 5% despite identical qualifications. This does not establish hiring behavior across deployed systems, and name signals combine gender and race; it does show why controlled testing should vary one factor at a time and report the test design. Gender itself is not always binary, and a model may fail to represent nonbinary identities or add assumptions absent from the prompt. Evaluation should distinguish a stereotype benchmark, a translation error, and an actual employment decision. Results depend on model version, language, prompt, sampling and occupation mix. Removing all gender-associated information can also damage legitimate content such as identity-specific language. Fairness work therefore requires a specified use case and documented trade-offs rather than a claim that one debiasing method eliminates gender bias.
Překladatel překládá genderově neutrální větu o lékaři do angličtiny a přidává „he“ i přesto, že zdroj neuvádí pohlaví.
Tým pro psaní životopisů testuje identické kvalifikace s jmény signalizujícími pohlaví a zkoumá, zda jeho model mění doporučení práce nebo návrhy mezd.
Výzkumník hodnotí rozpoznávání zájmen na jakýchkoli stereotypních a kontra‑stereotypních větách o povoláních místo spoléhaní na jeden agregovaný skóre.
Tým obsahu se ptá, zda generátor textu implicitně vybírá muže pro vedoucí role a ženy pro pečující role, pak upravuje prompt a přehodnocuje výsledky.
Více studií testuje vícejazyčné a intersekcionální genderové asociace, jak se mění architektury a produkty modelů. Týmy by měly znovu spustit reprezentativní hodnocení po aktualizacích modelu a zahrnout nebinární identity, kde úkol a souhlas to umožňují. Veřejné benchmarky a párové promptů pomáhají, ale reálné výsledky stále vyžadují samostatné sledování. Budoucí hodnocení by mělo hlásit verze modelu, populace studie a měřené výsledky, aby se výsledky mohly porovnávat bez generalizace nad rámec důkazů. Nezávislé audity by měly také zkoumat intersekcionální kategorie a jazyky mimo nejvíce studované anglické datasety.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Modely jazyků mohou reprodukovat genderové asociace nalezené v tréninkovém textu, od stereotypů v word‑embeddingu po genderované doplnění, překlady a doporučení zaměstnání. Experimenty ukazují, že výsledky se liší podle modelu, promptu, úkolu a demografických signálů; benchmarkový výsledek by neměl být považován za důkaz o každém modelu nebo reálném rozhodnutí.
Studie použila 320 prvních jmen, která silně signalizovala rasu a pohlaví s kandidátskými kvalifikacemi v simulovaném doporučení zaměstnání.
Studie použila jména signalizující rasu a pohlaví v simulovaném úkolu; její výsledky nejsou průzkumem skutečných zaměstnavatelů.
WinoBias byl navržen tak, aby testoval genderový bias v kořenech pomocí stereotypních a anti‑stereotypních příkladů povolání.
Výzkum genderového biasu v strojovém překladu zkoumá přidávání genderu v překladu z genderově neutrálního zdrojového textu.
Bolukbasi a kol. uvádějí, že ne všechny informace o pohlaví jsou nežádoucí nebo oddělitelné od jiného sémantického obsahu.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Západocentrické zkreslení ve velkých jazykových modelech
Společnost