Викторина, связанная с руководством · Средний Уровень
Оценка медицинских инструментов искусственного интеллекта в качестве теста для клиницистов
Тесты, оценивающие данные проверки поставщиков, почему положительная прогностическая ценность и калибровка имеют значение на местном уровне, и что показывает разрешение FDA 510 (k).
Вопрос 1 из 8
Поставщик сообщает, что AUC для его модели ухудшения составляет 0,85. Что говорит гид, этот номер не может сказать о больнице?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Поставщик сообщает, что AUC для его модели ухудшения составляет 0,85. Что говорит гид, этот номер не может сказать о больнице?
- Насколько хорошо модель ранжирует случаи в собственном наборе данных поставщика
- Была ли модель построена с использованием машинного обучения
- Как инструмент будет вести себя с пациентами больницы, рабочим процессом и порогом оповещения
- Можно ли установить модель в ЭМК
- Что выявила внешняя проверка запатентованной модели сепсиса в 2021 году, опубликованная в журнале JAMA Internal Medicine?
- Гораздо более слабая дискриминация, чем сообщил разработчик, с большим количеством пропущенных случаев и частыми предупреждениями.
- Производительность идентична показателям разработчика
- Лучшая производительность на внешнем сайте, чем на сайте разработки.
- FDA отозвало разрешение у модели.
- Была проверена модель, в которой заболевание затрагивает 10 процентов пациентов. Почему это может генерировать больше ложных сигналов тревоги на устройстве, где только 2 процента имеют такое состояние?
- Калибровка всегда улучшается при более низкой распространенности
- AUC автоматически снижается при снижении распространенности.
- Чувствительность резко возрастает при более низкой распространенности
- Положительная прогностическая ценность зависит от распространенности, поэтому большая часть предупреждений оказывается ложной, когда заболевание встречается реже.
- Согласно руководству, какой путь используют большинство медицинских устройств искусственного интеллекта для выхода на рынок США?
- Одобрение на премаркете, подтвержденное рандомизированными исследованиями
- Путь 510(k), основанный на существенной эквивалентности существующему устройству.
- Никакой проверки FDA
- Разрешение на экстренное использование
- Что такое тихое или теневое развертывание клинической модели ИИ?
- Отключение звука в уведомлениях о тревогах
- Поставщик обновляет модель, не сообщая об этом покупателю.
- Позволить модели оценивать живых пациентов, не показывая результаты врачам, чтобы можно было измерить эффективность на местном уровне.
- Запуск модели только во время ночных смен
- Группа дерматологов узнает, что более темные оттенки кожи редко встречались на обучающих изображениях классификатора. К какой области оценки это относится?
- Мониторинг после развертывания
- Систематическая ошибка, означающая эффективность в разных подгруппах пациентов.
- Нормативный статус
- Выбор порога оповещения
- Модель присваивает группе пациентов 30-процентный риск, но только 10 процентов из них достигают результата. Какую проблему это показывает?
- Обязательно низкая AUC
- Существенное отсутствие эквивалентности
- Высокая положительная прогностическая ценность
- Плохая калибровка
- После запуска больница переходит на новый лабораторный анализ, и значения, лежащие в основе модели, меняются. Как руководство называет это и как с этим обращаться?
- Дрейф входных данных, который должен обнаружить постоянный мониторинг
- Отвращение к алгоритму, которое должно исправить обучение
- Существенная эквивалентность, которой занимается FDA
- Сдвиг распространенности, который не требует никаких действий