臨床 AI における自動化バイアス

自動化バイアスは、航空やその他の安全性が重要な作業において初めて綿密に研究されました。ヒューマンファクターの研究者らは、信頼性の高い自動化を使用しているオペレーターは、監視が少なく、遅延が多い傾向があることを発見しました。彼らは 2 つのエラー タイプについて説明しました。不作為のエラーでは、システムが問題にフラグを立てなかったために、人が問題を見逃してしまいます。過失により、人は間違った提案に基づいて行動します。 Goddardらによる2012年の系統的レビューでは、臨床意思決定支援における自動化バイアスがあり、その影響はタスクの複雑さ、作業量、経験、自信によって形成されることが判明した。医療画像は最も明確な証拠を提供します。マンモグラフィーにおけるコンピュータ支援による早期検出に関する研究では、システムががんの発見を促すことができなかった場合、システムを使用しなかった場合に比べて読者ががんを発見する可能性が低くなる場合があることが報告されています。 Radiologyの2023年の研究では、放射線科医がマンモグラムを評価する際に、AIからのものであるかのように意図的に誤った提案が提示されました。精度は低下し、経験の浅い読者が最も影響を受けました。 JAMAの2023年のビネット研究では、臨床医が系統的に偏ったモデルでは診断の精度が低くなり、モデルの説明を追加しても害を相殺することはほとんどないことが判明した。逆の問題も存在します。アルゴリズムが間違いを犯すのを見た後、たとえアルゴリズムが自分よりも優れていたとしても、人々はそのアルゴリズムの使用をやめるかもしれません。医学外の研究者は、このアルゴリズムの嫌悪感を「アルゴリズム嫌悪」と呼んでいます。病院では、覚醒疲労のように見えることがよくあります。どちらの極端な場合も安全ではありません。目標は、適切な信頼性です。つまり、ツールの得意な部分は信頼し、弱い部分はチェックすることです。 2 つの誤解が重要です。「人間を監視の中に入れる」ことで安全が保証されます。人間が確実に延期した場合、ループはほとんど保護を追加しません。そして説明は常に役に立ちます。一部の研究では、正しい出力と同じくらい簡単に、間違った出力に対する信頼性を高めることができることを示しています。