DalšíDalší průvodce
Datová linie pro strojové učení
Technický
Technický PRŮVODCE
K historickému zkreslení dochází, když vzorce v minulých datech odrážejí strukturální nerovnosti nebo minulou diskriminaci a model se je učí reprodukovat.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Může přetrvávat, i když jsou data sbírána a měřena přesně, protože samotný historický proces byl nerovný. Model tedy může automatizovat staré vzory ve větším měřítku a přitom vypadat objektivně.
Historical bias is a source of harm that arises before or during model development because the data encode inequities that already exist. Suresh and Guttag’s machine-learning lifecycle framework distinguishes this from representation bias, measurement choices, aggregation, learning, evaluation, and deployment harms. A dataset can represent its source population accurately and still preserve unfair social structures. More data from the same process may make the pattern more statistically stable without making it fair. The mechanism depends on the target and data-generating process. If a hiring system predicts prior hiring decisions, it may treat past choices as a definition of merit. If a credit model uses variables shaped by segregation or exclusion, those variables can carry historical differences into future decisions even when race is omitted. In health care, Obermeyer and colleagues found that a widely used population-health algorithm used health-care cost as a proxy for need; because less money had historically been spent on Black patients with comparable illness, the score understated their need. The result was a target-design problem tied to structural differences, not simply an incorrectly measured feature. Historical bias differs from a data-coverage problem: adding more records of the same decisions may not address a discriminatory target. It also differs from label bias caused by annotator judgments, although both can be present together. Teams should ask what outcome the model is trained to predict, who had access to the opportunity in the past, and which institutional choices produced the labels. Mitigation starts by questioning the target and decision process. Use outcomes closer to the intended goal, examine whether historic labels are suitable, test subgroup impacts, and consider whether the institution should change the process rather than automate it. A fairness metric alone cannot decide what outcome is legitimate. Document the historical context, affected groups, and remaining uncertainty before deployment.
A résumé model trained on past hiring records learns to rank candidates from women’s colleges lower because the company hired few of them historically.
Úvěrový model využívá historii sousedství utvářenou redliningem a přiděluje horší podmínky žadatelům z dříve vyloučených oblastí.
Model povýšení zjistí, že pracovníci na částečný úvazek byli povýšeni jen zřídka, a tento vzorec opakuje, aniž by zkoumal, zda byla historická rozhodnutí spravedlivá.
Systém veřejné bezpečnosti vyškolený na zaznamenaných incidentech může zaměnit vzorce vymáhání za skutečné rozložení škodlivého chování.
Historické vzory se mění pomalu a mohou znovu vstoupit do modelů prostřednictvím obnovených štítků, dodavatelů nebo zpětné vazby pracovního postupu. Přehodnoťte cíle a výsledky po změnách politiky, nejen po rekvalifikaci. Udržujte auditovatelný účet procesu generování dat a poskytněte postiženým lidem cestu k napadení rozhodnutí. Monitorování může odhalit posun, ale nemůže samo o sobě určit, zda je historický výsledek spravedlivý. Při změně štítků nebo zásad znovu zkontrolujte efekty podskupiny. Udržujte proces odvolání, aby dotčení lidé mohli odhalit opakující se chyby. Zkontrolujte odvolání pro opakované vzory.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
K historickému zkreslení dochází, když vzorce v minulých datech odrážejí strukturální nerovnosti nebo minulou diskriminaci a model se je učí reprodukovat. Může přetrvávat, i když jsou data sbírána a měřena přesně, protože samotný historický proces byl nerovný. Model tedy může automatizovat staré vzory ve větším měřítku a přitom vypadat objektivně.
Model reprodukuje nespravedlnost již přítomnou v historickém rozhodovacím procesu.
Více pozorování může stabilizovat vzory vytvořené nerovným procesem, aniž by se tento proces korigoval.
Studie zjistila, že náklady jako proxy pro potřebu vedly k nižšímu skóre u černošských pacientů, kteří byli nemocnější při srovnatelném skóre rizika.
Historická analýza zkreslení zkoumá výsledky a institucionální volby, které vytvořily nálepky.
Soubor dat může pokrýt svou zdrojovou populaci, ale stále kóduje nespravedlivé minulé výsledky.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Datová linie pro strojové učení
Technický