Викторина, связанная с руководством · Средний Уровень

Оценка медицинских инструментов искусственного интеллекта в качестве теста для клиницистов

Тесты, оценивающие данные проверки поставщиков, почему положительная прогностическая ценность и калибровка имеют значение на местном уровне, и что показывает разрешение FDA 510 (k).

Вопрос 1 из 8

Поставщик сообщает, что AUC для его модели ухудшения составляет 0,85. Что говорит гид, этот номер не может сказать о больнице?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Поставщик сообщает, что AUC для его модели ухудшения составляет 0,85. Что говорит гид, этот номер не может сказать о больнице?
    • Насколько хорошо модель ранжирует случаи в собственном наборе данных поставщика
    • Была ли модель построена с использованием машинного обучения
    • Как инструмент будет вести себя с пациентами больницы, рабочим процессом и порогом оповещения
    • Можно ли установить модель в ЭМК
  2. Что выявила внешняя проверка запатентованной модели сепсиса в 2021 году, опубликованная в журнале JAMA Internal Medicine?
    • Гораздо более слабая дискриминация, чем сообщил разработчик, с большим количеством пропущенных случаев и частыми предупреждениями.
    • Производительность идентична показателям разработчика
    • Лучшая производительность на внешнем сайте, чем на сайте разработки.
    • FDA отозвало разрешение у модели.
  3. Была проверена модель, в которой заболевание затрагивает 10 процентов пациентов. Почему это может генерировать больше ложных сигналов тревоги на устройстве, где только 2 процента имеют такое состояние?
    • Калибровка всегда улучшается при более низкой распространенности
    • AUC автоматически снижается при снижении распространенности.
    • Чувствительность резко возрастает при более низкой распространенности
    • Положительная прогностическая ценность зависит от распространенности, поэтому большая часть предупреждений оказывается ложной, когда заболевание встречается реже.
  4. Согласно руководству, какой путь используют большинство медицинских устройств искусственного интеллекта для выхода на рынок США?
    • Одобрение на премаркете, подтвержденное рандомизированными исследованиями
    • Путь 510(k), основанный на существенной эквивалентности существующему устройству.
    • Никакой проверки FDA
    • Разрешение на экстренное использование
  5. Что такое тихое или теневое развертывание клинической модели ИИ?
    • Отключение звука в уведомлениях о тревогах
    • Поставщик обновляет модель, не сообщая об этом покупателю.
    • Позволить модели оценивать живых пациентов, не показывая результаты врачам, чтобы можно было измерить эффективность на местном уровне.
    • Запуск модели только во время ночных смен
  6. Группа дерматологов узнает, что более темные оттенки кожи редко встречались на обучающих изображениях классификатора. К какой области оценки это относится?
    • Мониторинг после развертывания
    • Систематическая ошибка, означающая эффективность в разных подгруппах пациентов.
    • Нормативный статус
    • Выбор порога оповещения
  7. Модель присваивает группе пациентов 30-процентный риск, но только 10 процентов из них достигают результата. Какую проблему это показывает?
    • Обязательно низкая AUC
    • Существенное отсутствие эквивалентности
    • Высокая положительная прогностическая ценность
    • Плохая калибровка
  8. После запуска больница переходит на новый лабораторный анализ, и значения, лежащие в основе модели, меняются. Как руководство называет это и как с этим обращаться?
    • Дрейф входных данных, который должен обнаружить постоянный мониторинг
    • Отвращение к алгоритму, которое должно исправить обучение
    • Существенная эквивалентность, которой занимается FDA
    • Сдвиг распространенности, который не требует никаких действий