Bias di automazione nell’intelligenza artificiale clinica

Il bias dell’automazione è stato studiato attentamente per la prima volta nel settore dell’aviazione e in altri lavori critici per la sicurezza. I ricercatori sui fattori umani hanno scoperto che gli operatori che lavorano con un’automazione affidabile tendono a monitorare di meno e a rinviare di più. Hanno descritto due tipi di errore. In un errore di omissione, una persona non rileva un problema perché il sistema non lo ha segnalato. In un errore di commissione, una persona agisce sulla base di un suggerimento sbagliato. Una revisione sistematica del 2012 di Goddard e colleghi ha rilevato errori di automazione nel supporto alle decisioni cliniche, con effetti modellati dalla complessità del compito, dal carico di lavoro, dall’esperienza e dalla fiducia. L’imaging medico fornisce la prova più chiara. Studi sul rilevamento precoce computerizzato nella mammografia hanno riferito che quando il sistema non riusciva a individuare un cancro, i lettori a volte avevano meno probabilità di trovarlo di quanto lo sarebbero stati senza il sistema. Uno studio del 2023 su Radiology ha fornito ai radiologi suggerimenti deliberatamente errati presentati come provenienti dall’intelligenza artificiale durante la valutazione delle mammografie. La loro precisione è diminuita e i lettori meno esperti sono stati maggiormente colpiti. Uno studio vignette del 2023 condotto su JAMA ha rilevato che i medici che hanno dimostrato che un modello sistematicamente distorto hanno effettuato diagnosi meno accurate e che l’aggiunta di spiegazioni del modello ha fatto ben poco per compensare il danno. Esiste anche il problema opposto. Dopo aver visto un algoritmo commettere errori, le persone potrebbero smettere di usarlo anche quando le sue prestazioni sono migliori. I ricercatori esterni alla medicina hanno chiamato questo algoritmo avversione. Negli ospedali spesso sembra che ci sia stanchezza vigile. Nessuno dei due estremi è sicuro. L’obiettivo è l’affidamento appropriato: fidarsi dello strumento dove è forte e controllarlo dove è debole. Contano due idee sbagliate: mettere un “essere umano nel circuito” garantisce la sicurezza. Se l’essere umano rinvia in modo affidabile, il circuito aggiunge poca protezione; e le spiegazioni aiutano sempre. Alcune ricerche dimostrano che possono aumentare la fiducia nei risultati sbagliati con la stessa facilità con cui si ottengono risultati corretti.