Evaluación de herramientas de IA médica como cuestionario para médicos

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. Un proveedor informa un AUC de 0,85 para su modelo de deterioro. ¿Qué dice la guía que este número no le dice a un hospital?
   • Qué tan bien clasifica el modelo los casos en el conjunto de datos del propio proveedor
   • Si el modelo se construyó con aprendizaje automático
   • Cómo se comportará la herramienta con los pacientes, el flujo de trabajo y el umbral de alerta del propio hospital
   • Si el modelo se puede instalar en un EHR
2. ¿Qué encontró la validación externa de 2021 de un modelo de sepsis patentado, publicada en JAMA Internal Medicine?
   • Discriminación mucho más débil de la que informó el desarrollador, con muchos casos omitidos y alertas frecuentes
   • Rendimiento idéntico a las cifras del desarrollador.
   • Mejor rendimiento en el sitio externo que en el sitio de desarrollo
   • Que la FDA había revocado la autorización del modelo.
3. Se validó un modelo en el que una afección afecta al 10 por ciento de los pacientes. ¿Por qué podría generar más falsas alarmas en una unidad donde sólo el 2 por ciento tiene la condición?
   • La calibración siempre mejora a menor prevalencia
   • El AUC disminuye automáticamente cuando disminuye la prevalencia
   • La sensibilidad aumenta bruscamente a menor prevalencia
   • El valor predictivo positivo depende de la prevalencia, por lo que una mayor proporción de alertas son falsas cuando la afección es más rara
4. Según la guía, ¿qué camino utilizan la mayoría de los dispositivos médicos de IA para llegar al mercado estadounidense?
   • Aprobación previa a la comercialización respaldada por ensayos aleatorios
   • La vía 510(k), basada en la equivalencia sustancial con un dispositivo existente
   • Sin revisión de la FDA de ningún tipo
   • Autorización de uso de emergencia
5. ¿Qué es una implementación silenciosa o en la sombra de un modelo de IA clínica?
   • Silenciar el sonido de las notificaciones de alerta
   • Un proveedor actualiza el modelo sin avisar al cliente.
   • Permitir que el modelo califique a los pacientes vivos sin mostrar los resultados a los médicos, de modo que se pueda medir el desempeño local.
   • Ejecutar el modelo solo durante turnos nocturnos.
6. Un grupo de dermatología descubre que los tonos de piel más oscuros eran raros en las imágenes de entrenamiento de un clasificador. ¿A qué área de evaluación concierne esto?
   • Monitoreo posterior a la implementación
   • Sesgo, es decir, desempeño entre subgrupos de pacientes
   • Estado regulatorio
   • Selección de umbral de alerta
7. Un modelo asigna un 30 por ciento de riesgo a un grupo de pacientes, pero sólo el 10 por ciento de ellos obtiene el resultado. ¿Qué problema muestra esto?
   • Un AUC bajo, necesariamente
   • Fallo sustancial de equivalencia
   • Alto valor predictivo positivo
   • Mala calibración
8. Después de la puesta en funcionamiento, un hospital cambia a un nuevo ensayo de laboratorio y los valores que alimentan el modelo cambian. ¿Cómo llama esto la guía y cómo se debe manejar?
   • Deriva de entrada, que el monitoreo continuo debería detectar
   • Aversión al algoritmo, que el entrenamiento debería solucionar
   • Equivalencia sustancial, que maneja la FDA
   • Cambio de prevalencia, que no necesita acción