ДалееСледующее руководство
Предвзятость к автоматизации: слишком сильно доверять машинам
Общество
РУКОВОДСТВО ПО ОБЩЕСТВУ
Предвзятость автоматизации — это тенденция отдавать предпочтение предположению компьютера над вашим собственным суждением или противоположными доказательствами.
Прослушайте это руководствоОзвучено ИИ · ~3 min
В клиническом ИИ это приводит к тому, что врачи следуют неверным выводам (ошибки ввода) или пропускают проблемы, которые система не заметила (ошибки упущения). Это важно, поскольку реальная безопасность инструмента ИИ зависит от того, как люди его используют, а как чрезмерное доверие, так и рефлексивное недоверие могут свести на нет преимущества точной модели.
Предвзятость автоматизации впервые была тщательно изучена в авиации и других критических с точки зрения безопасности работах. Исследователи человеческого фактора обнаружили, что операторы, работающие с надежной автоматизацией, склонны меньше контролировать и больше откладывать. Они описали два типа ошибок. При ошибке упущения человек упускает проблему, потому что система не отметила ее. При совершении ошибки человек действует по неверному внушению. Систематический обзор, проведенный Годдардом и его коллегами в 2012 году, выявил предвзятость автоматизации в поддержке клинических решений, последствия которой зависят от сложности задач, рабочей нагрузки, опыта и уверенности. Медицинские изображения предоставляют наиболее четкие доказательства. Исследования раннего компьютерного обнаружения при маммографии показали, что, когда система не смогла выявить рак, у читателей иногда было меньше шансов обнаружить его, чем если бы не система. Исследование, проведенное в журнале Radiology в 2023 году, дало рентгенологам заведомо неверные предположения, представленные как исходящие от ИИ при оценке маммограмм. Их точность упала, и больше всего пострадали менее опытные читатели. Краткое исследование 2023 года, проведенное JAMA, показало, что врачи, продемонстрировавшие систематически предвзятую модель, ставят менее точные диагнозы, и что добавление объяснений модели мало что компенсирует вред. Существует и противоположная проблема. Увидев, что алгоритм допускает ошибки, люди могут перестать его использовать, даже если он превосходит их по эффективности. Исследователи, не относящиеся к медицине, назвали этот алгоритм отвращением. В больницах это часто выглядит как усталость. Ни одна из крайностей не является безопасной. Целью является соответствующая уверенность: доверять инструменту там, где он силен, и проверять его там, где он слаб. Имеют значение два заблуждения: постановка «человека в курс дела» гарантирует безопасность. Если человек надежно отстраняется, петля мало что дает; и Объяснения всегда помогают. Некоторые исследования показывают, что они могут повысить доверие к неправильным результатам так же легко, как и к правильным.
Радиолог, читающий маммограмму, не видит никаких отметок ИИ из-за легкой асимметрии и идет дальше, даже если бы она заметила это самостоятельно. Это ошибка упущения.
Фармацевт не беспокоится о дозе препарата для почек, поскольку система проверки заказов не выдала никаких предупреждений. Он не осознает, что последний результат измерения креатинина у пациента так и не поступил в систему.
После нескольких недель ложных тревог врач скорой помощи отклоняет каждое предупреждение о сепсисе и игнорирует одно, которое было правильным. Это усталость от бдительности и недоверие.
Ординатор-дерматолог меняет правильный диагноз меланомы на доброкачественный невус после того, как приложение пометило поражение как низкий риск. Позже отчет о патологии противоречит приложению. Это ошибка комиссии.
По мере распространения инструментов искусственного интеллекта в визуализации, документации и сортировке, предвзятость автоматизации становится не только индивидуальной, но и проблемой проектирования и управления. Исследователи изучают, какие варианты интерфейса, методы обучения и петли обратной связи обеспечивают соответствующую надежность. Многие результаты на данный момент получены в результате смоделированных или экспериментальных исследований, поэтому реальные доказательства остаются ограниченными. Системы здравоохранения начинают отслеживать модели отклонения и принятия как сигналы безопасности. Вероятной задачей на будущее является защита независимых навыков среди стажеров, которые учатся с помощью ИИ, с самого начала, чтобы они могли обнаружить ошибки, когда инструмент дает сбой.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Предвзятость автоматизации — это тенденция отдавать предпочтение предположению компьютера над вашим собственным суждением или противоположными доказательствами. В клиническом ИИ это приводит к тому, что врачи следуют неверным выводам (ошибки ввода) или пропускают проблемы, которые система не заметила (ошибки упущения). Это важно, поскольку реальная безопасность инструмента ИИ зависит от того, как люди его используют, а как чрезмерное доверие, так и рефлексивное недоверие могут свести на нет преимущества точной модели.
Ошибка пропуска означает отсутствие проблемы, поскольку система не отметила ее. Ошибка комиссии – действовать по неверному внушению.
Неправильные предложения снижали точность, и менее опытные рентгенологи были наиболее восприимчивы. Это показывает, что экспертные знания помогают, но не защищают полностью.
Исследование показало, что предвзятые модели снижают точность и что объяснения мало защищают. Это бросает вызов убеждению, что объяснения всегда помогают.
Повторяющиеся ложные тревоги могут подтолкнуть врачей к полному игнорированию инструмента, что является противоположностью чрезмерного доверия. Исследователи, не относящиеся к медицине, называют схожий алгоритм алгоритма отвращением.
Когда врачи первыми формируют суждение, ИИ действует как второе мнение, а не как якорь, формирующий их первое впечатление.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Предвзятость к автоматизации: слишком сильно доверять машинам
Общество