SeterusnyaPanduan seterusnya
Bias Automasi: Terlalu Mempercayai Mesin
Masyarakat
PANDUAN Masyarakat
Bias automasi ialah kecenderungan untuk mengutamakan cadangan komputer berbanding pertimbangan anda sendiri atau berbanding bukti yang bercanggah.
Dengar panduan iniAI-diceritakan · ~3 min
Dalam AI klinikal, ia mendorong doktor untuk mengikut output yang salah (ralat komisen) atau terlepas masalah yang tidak ditandakan oleh sistem (ralat peninggalan). Ini penting kerana keselamatan dunia sebenar alat AI bergantung pada cara manusia menggunakannya, dan kedua-dua sikap terlalu percaya serta tidak percaya secara reflex boleh menidakkan manfaat model yang tepat.
Automation bias was first studied closely in aviation and other safety-critical work. Human factors researchers found that operators working with reliable automation tend to monitor less and defer more. They described two error types. In an error of omission, a person misses a problem because the system did not flag it. In an error of commission, a person acts on a wrong suggestion. A 2012 systematic review by Goddard and colleagues found automation bias in clinical decision support, with effects shaped by task complexity, workload, experience and confidence. Medical imaging supplies the clearest evidence. Studies of early computer-aided detection in mammography reported that when the system failed to prompt a cancer, readers were sometimes less likely to find it than they would have been without the system. A 2023 study in Radiology gave radiologists deliberately incorrect suggestions presented as coming from AI when rating mammograms. Their accuracy dropped, and less experienced readers were affected most. A 2023 vignette study in JAMA found that clinicians shown a systematically biased model made less accurate diagnoses, and that adding model explanations did little to offset the harm. The opposite problem also exists. After seeing an algorithm make mistakes, people may stop using it even when it outperforms them. Researchers outside medicine have called this algorithm aversion. In hospitals it often looks like alert fatigue. Neither extreme is safe. The goal is appropriate reliance: trusting the tool where it is strong and checking it where it is weak. Two misconceptions matter: putting a "human in the loop" guarantees safety. If the human reliably defers, the loop adds little protection; and Explanations always help. Some research shows they can increase trust in wrong outputs as easily as in correct ones.
Seorang pakar radiologi membaca mamogram dan tidak melihat sebarang tanda AI pada asimetri yang kecil lalu meneruskan kerja, walaupun dia mungkin telah menandakannya sendiri. Ini adalah ralat peninggalan.
Seorang ahli farmasi tepi kerisauannya tentang dos renal kerana sistem pengesahan pesanan tidak menimbulkan sebarang amaran. Dia tidak sedar bahawa keputusan kreatinin terkini pesakit tidak pernah sampai kepada sistem.
Selepas berminggu-minggu berdepan amaran palsu, seorang doktor kecemasan mengetepikan setiap amaran sepsis dan mengabaikan satu amaran yang betul. Ini adalah keletihan amaran dan kurang kepercayaan.
Seorang pelatih dermatologi menukar diagnosis melanoma yang betul kepada nevus benigna selepas aplikasi melabelkan lesi tersebut sebagai berisiko rendah. Laporan patologi kemudiannya bercanggah dengan aplikasi itu. Ini adalah ralat komisen.
Apabila alat AI berkembang dalam pengimejan, dokumentasi dan triaj, bias automasi menjadi masalah reka bentuk dan tadbir urus serta masalah individu. Para penyelidik sedang mengkaji pilihan antara muka, kaedah latihan dan gelung maklum balas yang menyokong tahap pergantungan yang sewajarnya. Setakat ini, banyak keputusan datang daripada kajian simulasi atau vignet, jadi bukti dunia sebenar masih terhad. Sistem kesihatan mula menjejak corak pembatalan dan penerimaan sebagai isyarat keselamatan. Cabaran masa depan yang mungkin dihadapi ialah melindungi kemahiran bebas dalam kalangan pelatih yang belajar menggunakan AI sejak dari awal lagi, supaya mereka masih dapat mengesan ralat apabila alat tersebut gagal.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Bias automasi ialah kecenderungan untuk lebih mengutamakan cadangan komputer berbanding pertimbangan anda sendiri atau bukti yang bertentangan. Dalam AI klinikal, ia menyebabkan doktor mengikut output yang salah (ralat komisi) atau terlepas masalah yang tidak ditandakan oleh sistem (ralat peninggalan). Ia penting kerana keselamatan dunia sebenar sesuatu alat AI bergantung pada cara orang menggunakannya, dan kepercayaan berlebihan serta ketidakpercayaan refleksif boleh menjejaskan manfaat model yang tepat.
Ralat peninggalan tiada masalah kerana sistem tidak membenderakannya. Ralat komisen bertindak atas cadangan yang salah.
Cadangan yang salah mengurangkan ketepatan, dan pakar radiologi yang kurang berpengalaman paling terdedah. Ini menunjukkan bahawa kepakaran membantu tetapi tidak melindungi sepenuhnya.
Kajian mendapati bahawa model berat sebelah mengurangkan ketepatan dan penjelasan memberikan sedikit perlindungan. Ini mencabar kepercayaan bahawa penjelasan sentiasa membantu.
Penggera palsu yang berulang boleh mendorong doktor untuk mengabaikan alat sepenuhnya, yang merupakan kegagalan yang berlawanan daripada terlalu mempercayai. Penyelidik di luar perubatan memanggil keengganan algoritma corak yang berkaitan.
Apabila doktor membuat pertimbangan terlebih dahulu, AI berfungsi sebagai pendapat kedua dan bukannya sauh yang membentuk tanggapan pertama mereka.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Bias Automasi: Terlalu Mempercayai Mesin
Masyarakat