Tiếp theoHướng dẫn tiếp theo
Thiên lệch tự động: Tin tưởng máy móc quá mức
xã hội
HƯỚNG DẪN xã hội
Thiên kiến tự động hóa là xu hướng thiên về đề xuất của máy tính hơn là đánh giá của chính bạn hoặc bằng chứng trái ngược.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Trong AI lâm sàng, nó khiến các nhà lâm sàng tuân theo các kết quả sai (lỗi thực hiện) hoặc bỏ lỡ các vấn đề mà hệ thống không đánh dấu (lỗi bỏ sót). Điều này quan trọng vì độ an toàn thực tế của công cụ AI phụ thuộc vào cách mọi người sử dụng nó, và cả việc quá tin tưởng lẫn sự không tin tưởng phản xạ đều có thể làm mất đi lợi ích của một mô hình chính xác.
Automation bias was first studied closely in aviation and other safety-critical work. Human factors researchers found that operators working with reliable automation tend to monitor less and defer more. They described two error types. In an error of omission, a person misses a problem because the system did not flag it. In an error of commission, a person acts on a wrong suggestion. A 2012 systematic review by Goddard and colleagues found automation bias in clinical decision support, with effects shaped by task complexity, workload, experience and confidence. Medical imaging supplies the clearest evidence. Studies of early computer-aided detection in mammography reported that when the system failed to prompt a cancer, readers were sometimes less likely to find it than they would have been without the system. A 2023 study in Radiology gave radiologists deliberately incorrect suggestions presented as coming from AI when rating mammograms. Their accuracy dropped, and less experienced readers were affected most. A 2023 vignette study in JAMA found that clinicians shown a systematically biased model made less accurate diagnoses, and that adding model explanations did little to offset the harm. The opposite problem also exists. After seeing an algorithm make mistakes, people may stop using it even when it outperforms them. Researchers outside medicine have called this algorithm aversion. In hospitals it often looks like alert fatigue. Neither extreme is safe. The goal is appropriate reliance: trusting the tool where it is strong and checking it where it is weak. Two misconceptions matter: putting a "human in the loop" guarantees safety. If the human reliably defers, the loop adds little protection; and Explanations always help. Some research shows they can increase trust in wrong outputs as easily as in correct ones.
Một bác sĩ chẩn đoán hình ảnh đọc mammogram không thấy dấu hiệu AI trên một bất đối xứng nhẹ và tiếp tục, mặc dù cô ấy đã tự mình đánh dấu nó. Đây là lỗi bỏ sót.
Một dược sĩ bỏ qua lo ngại về liều thuốc thận vì hệ thống xác nhận đơn thuốc không đưa ra cảnh báo nào. Anh ta không nhận ra rằng kết quả creatinine mới nhất của bệnh nhân chưa được đưa vào hệ thống.
Sau nhiều tuần cảnh báo sai, một bác sĩ cấp cứu bỏ qua mọi cảnh báo nhiễm trùng huyết và không chú ý đến một cảnh báo đúng. Đây là mệt mỏi cảnh báo và thiếu tin tưởng.
Một bác sĩ nội trú da liễu thay đổi chẩn đoán melanoma đúng thành mụn bạch vân hiền loạn sau khi một ứng dụng đánh dấu lesion có nguy cơ thấp. Báo cáo bệnh lý sau này mâu thuẫn với ứng dụng. Đây là một lỗi thực hiện.
As AI tools spread in imaging, documentation and triage, automation bias is becoming a design and governance problem as well as an individual one. Researchers are studying which interface choices, training methods and feedback loops support appropriate reliance. Many results so far come from simulated or vignette studies, so real-world evidence remains limited. Health systems are starting to track override and acceptance patterns as safety signals. A likely challenge ahead is protecting independent skills among trainees who learn with AI from the start, so they can still catch errors when the tool fails.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Automation bias is the tendency to favor a computer's suggestion over your own judgment or over contrary evidence. In clinical AI it leads clinicians to follow wrong outputs (errors of commission) or to miss problems the system did not flag (errors of omission). It matters because an AI tool's real-world safety depends on how people use it, and both over-trust and reflexive distrust can cancel out the benefit of an accurate model.
An error of omission is missing a problem because the system did not flag it. An error of commission is acting on a wrong suggestion.
Các gợi ý sai giảm độ chính xác, và những bác sĩ chẩn đoán hình học ít kinh nghiệm là những người dễ bị ảnh hưởng nhất. Điều này cho thấy chuyên môn giúp nhưng không hoàn toàn bảo vệ.
Nghiên cứu cho thấy các mô hình thiên lệch làm giảm độ chính xác và giải thích mang lại ít bảo vệ. Điều này thách thức quan niệm rằng giải thích luôn giúp.
Những cảnh báo sai lặp đi lặp lại có thể khiến các nhà điều trị bỏ qua hoàn toàn công cụ, điều này là thất bại ngược lại với sự tin tưởng quá mức. Các nhà nghiên cứu bên ngoài y học gọi mô hình tương tự là sự aversion thuật toán.
Khi các nhà điều trị hình thành một đánh giá trước, AI hoạt động như một ý kiến thứ hai thay vì là một điểm neo định hình ấn tượng đầu tiên của họ.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Thiên lệch tự động: Tin tưởng máy móc quá mức
xã hội