DalšíDalší průvodce
Předpojatost automatizace: Příliš důvěřovat strojům
Společnost
PRŮVODCE společností
Automatizační zkreslení je tendence upřednostňovat návrh počítače před vlastním úsudkem nebo opačnými důkazy.
Poslechněte si tento návodAI-vyprávěný · ~3 min
V klinické AI vede lékaře k tomu, že sledují chybné výstupy (chyby při zadání) nebo přehlédnou problémy, které systém neoznačil (chyby při vynechání). Je to důležité, protože bezpečnost nástroje AI v reálném světě závisí na tom, jak jej lidé používají, a jak přehnaná důvěra, tak reflexivní nedůvěra mohou zrušit výhodu přesného modelu.
Předpojatost automatizace byla nejprve podrobně studována v letectví a dalších pracích kritických pro bezpečnost. Výzkumníci lidských faktorů zjistili, že operátoři pracující se spolehlivou automatizací mají tendenci méně monitorovat a více odkládat. Popsali dva typy chyb. Při chybě opomenutí člověk přehlédne problém, protože jej systém neoznačil. V případě chyby v provizi jedná osoba na základě špatného návrhu. Systematická revize z roku 2012, kterou provedl Goddard a kolegové, zjistila zkreslení automatizace v podpoře klinického rozhodování s účinky formovanými složitostí úkolů, pracovní zátěží, zkušenostmi a sebedůvěrou. Lékařské zobrazování poskytuje nejjasnější důkazy. Studie časné počítačově podporované detekce v mamografii uvedly, že když systém nedokázal vyvolat rakovinu, čtenáři měli někdy menší pravděpodobnost, že ji najdou, než by byli bez systému. Radiologická studie z roku 2023 poskytla radiologům při hodnocení mamografů záměrně nesprávné návrhy prezentované jako pocházející z AI. Jejich přesnost klesla a nejvíce byli postiženi méně zkušení čtenáři. Studie viněty z roku 2023 v JAMA zjistila, že kliničtí lékaři prokázali, že systematicky zaujatý model dělal méně přesné diagnózy a že přidání modelových vysvětlení jen málo kompenzovalo škody. Existuje i opačný problém. Poté, co viděli, že algoritmus dělá chyby, mohou jej lidé přestat používat, i když je překonává. Výzkumníci mimo medicínu nazvali tento algoritmus averzí. V nemocnicích to často vypadá jako bdělá únava. Ani jeden extrém není bezpečný. Cílem je přiměřené spolehnutí: důvěřovat nástroji tam, kde je silný, a kontrolovat ho tam, kde je slabý. Důležité jsou dvě mylné představy: uvedení „člověka do smyčky“ zaručuje bezpečnost. Pokud se člověk spolehlivě odloží, smyčka dodá malou ochranu; a vysvětlení vždy pomůže. Některé výzkumy ukazují, že mohou zvýšit důvěru ve špatné výstupy stejně snadno jako ve správné.
Radioložka, která čte mamograf, nevidí přes jemnou asymetrii žádnou značku AI a jde dál, i když by to sama označila. Toto je chyba opomenutí.
Lékárník odloží své obavy ohledně renální dávky, protože systém ověřování objednávek nevyvolal žádnou výstrahu. Neuvědomuje si, že poslední výsledek kreatininu pacienta se nikdy nedostal do systému.
Po týdnech falešných poplachů lékař na pohotovosti zruší každé upozornění na sepsi a ignoruje to, které bylo správné. To je bdělá únava a nedostatečná důvěra.
Rezident dermatologie změní správnou diagnózu melanomu na benigní névus poté, co aplikace označí lézi jako nízkorizikovou. Zpráva o patologii je později v rozporu s aplikací. Toto je chyba provize.
Jak se nástroje umělé inteligence rozšiřují v oblasti zobrazování, dokumentace a třídění, stává se zkreslení automatizace nejen problémem designu a správy, ale i problémem jednotlivců. Výzkumníci studují, které volby rozhraní, tréninkové metody a zpětnovazební smyčky podporují odpovídající spolehlivost. Mnoho výsledků zatím pochází ze simulovaných nebo vinětových studií, takže důkazy v reálném světě zůstávají omezené. Zdravotní systémy začínají sledovat vzory potlačení a přijetí jako bezpečnostní signály. Pravděpodobnou výzvou před námi je ochrana nezávislých dovedností mezi účastníky, kteří se učí s AI od začátku, takže mohou stále zachytit chyby, když nástroj selže.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Automatizační zkreslení je tendence upřednostňovat návrh počítače před vlastním úsudkem nebo opačnými důkazy. V klinické AI vede lékaře k tomu, že sledují chybné výstupy (chyby při zadání) nebo přehlédnou problémy, které systém neoznačil (chyby při vynechání). Je to důležité, protože bezpečnost nástroje AI v reálném světě závisí na tom, jak jej lidé používají, a jak přehnaná důvěra, tak reflexivní nedůvěra mohou zrušit výhodu přesného modelu.
Chyba vynechání chybí problém, protože systém to neoznačil. Chybou komise je jednání na základě špatného návrhu.
Nesprávné návrhy snižovaly přesnost a méně zkušení radiologové byli nejnáchylnější. To ukazuje, že odbornost pomáhá, ale ne zcela chrání.
Studie zjistila, že zkreslené modely snižují přesnost a že vysvětlení poskytuje malou ochranu. To zpochybňuje přesvědčení, že vysvětlení vždy pomůže.
Opakované falešné poplachy mohou přimět lékaře k úplnému ignorování nástroje, což je opakem selhání přílišné důvěry. Výzkumníci mimo medicínu nazývají související algoritmus averze.
Když si lékaři vytvoří úsudek jako první, AI funguje spíše jako druhý názor než jako kotva, která utváří jejich první dojem.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Předpojatost automatizace: Příliš důvěřovat strojům
Společnost