VolgendeVolgende gids
Automatiseringsbias: te veel vertrouwen op machines
Samenleving
Gids voor de samenleving
Automatiseringsbias is de neiging om de suggestie van een computer te verkiezen boven uw eigen oordeel of tegenbewijs.
Luister naar deze gidsAI-verteld · ~3 min
Bij klinische AI leidt dit ertoe dat artsen verkeerde resultaten volgen (fouten bij het uitvoeren van de opdracht) of problemen over het hoofd zien die het systeem niet heeft opgemerkt (fouten bij het weglaten). Het is van belang omdat de veiligheid van een AI-tool in de echte wereld afhangt van de manier waarop mensen het gebruiken, en zowel overmatig vertrouwen als reflexief wantrouwen kunnen het voordeel van een accuraat model tenietdoen.
Automation bias was first studied closely in aviation and other safety-critical work. Human factors researchers found that operators working with reliable automation tend to monitor less and defer more. They described two error types. In an error of omission, a person misses a problem because the system did not flag it. In an error of commission, a person acts on a wrong suggestion. A 2012 systematic review by Goddard and colleagues found automation bias in clinical decision support, with effects shaped by task complexity, workload, experience and confidence. Medical imaging supplies the clearest evidence. Studies of early computer-aided detection in mammography reported that when the system failed to prompt a cancer, readers were sometimes less likely to find it than they would have been without the system. A 2023 study in Radiology gave radiologists deliberately incorrect suggestions presented as coming from AI when rating mammograms. Their accuracy dropped, and less experienced readers were affected most. A 2023 vignette study in JAMA found that clinicians shown a systematically biased model made less accurate diagnoses, and that adding model explanations did little to offset the harm. The opposite problem also exists. After seeing an algorithm make mistakes, people may stop using it even when it outperforms them. Researchers outside medicine have called this algorithm aversion. In hospitals it often looks like alert fatigue. Neither extreme is safe. The goal is appropriate reliance: trusting the tool where it is strong and checking it where it is weak. Two misconceptions matter: putting a "human in the loop" guarantees safety. If the human reliably defers, the loop adds little protection; and Explanations always help. Some research shows they can increase trust in wrong outputs as easily as in correct ones.
Een radioloog die een mammogram leest, ziet geen AI-markering boven een subtiele asymmetrie en gaat verder, ook al zou ze dit zelf hebben opgemerkt. Dit is een omissiefout.
Een apotheker zet zijn zorgen over een nierdosis opzij, omdat het orderverificatiesysteem geen waarschuwing gaf. Hij realiseert zich niet dat het laatste creatinineresultaat van de patiënt nooit het systeem heeft bereikt.
Na weken van vals alarm negeert een spoedarts elke sepsiswaarschuwing en negeert hij de correcte. Dit is alerte vermoeidheid en ondervertrouwen.
Een dermatologieassistent verandert een correcte melanoomdiagnose in een goedaardige naevus nadat een app de laesie als laag risico bestempelt. Het pathologierapport spreekt de app later tegen. Dit is een commissiefout.
Naarmate AI-tools zich verspreiden in beeldvorming, documentatie en triage, wordt automatiseringsvooroordeel zowel een ontwerp- en bestuursprobleem als een individueel probleem. Onderzoekers bestuderen welke interfacekeuzes, trainingsmethoden en feedbacklussen een passend vertrouwen ondersteunen. Veel resultaten tot nu toe zijn afkomstig van gesimuleerde of vignetstudies, dus het bewijs uit de echte wereld blijft beperkt. Gezondheidssystemen beginnen override- en acceptatiepatronen te volgen als veiligheidssignalen. Een waarschijnlijke uitdaging voor de toekomst is het beschermen van de onafhankelijke vaardigheden van cursisten die vanaf het begin met AI leren, zodat ze nog steeds fouten kunnen ontdekken als de tool faalt.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Automatiseringsbias is de neiging om de suggestie van een computer te verkiezen boven uw eigen oordeel of tegenbewijs. Bij klinische AI leidt dit ertoe dat artsen verkeerde resultaten volgen (fouten bij het uitvoeren van de opdracht) of problemen over het hoofd zien die het systeem niet heeft opgemerkt (fouten bij het weglaten). Het is van belang omdat de veiligheid van een AI-tool in de echte wereld afhangt van de manier waarop mensen het gebruiken, en zowel overmatig vertrouwen als reflexief wantrouwen kunnen het voordeel van een accuraat model tenietdoen.
Een weglatingsfout is het missen van een probleem omdat het systeem dit niet heeft gemarkeerd. Een commissiefout is handelen op basis van een verkeerde suggestie.
Onjuiste suggesties verminderden de nauwkeurigheid, en minder ervaren radiologen waren het meest vatbaar. Dit laat zien dat expertise helpt, maar niet volledig beschermt.
Uit het onderzoek bleek dat vertekende modellen de nauwkeurigheid verminderden en dat verklaringen weinig bescherming boden. Dit daagt de overtuiging uit dat verklaringen altijd helpen.
Herhaaldelijke valse alarmen kunnen ervoor zorgen dat artsen een hulpmiddel volledig negeren, wat het tegenovergestelde is van oververtrouwen. Onderzoekers buiten de geneeskunde noemen een gerelateerd patroonalgoritme-aversie.
Wanneer artsen eerst een oordeel vormen, werkt de AI als een second opinion en niet als een anker dat hun eerste indruk vormgeeft.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Automatiseringsbias: te veel vertrouwen op machines
Samenleving