Quiz collegato alla guida · Medio Livello

Valutazione degli strumenti di intelligenza artificiale medica come quiz per i medici

I test valutano i dati di convalida del fornitore, perché il valore predittivo positivo e la calibrazione sono importanti a livello locale e cosa mostra l'autorizzazione FDA 510(k).

Domanda 1 di 8

Un fornitore segnala un AUC di 0,85 per il suo modello di deterioramento. Cosa dice la guida che questo numero non comunica a un ospedale?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Un fornitore segnala un AUC di 0,85 per il suo modello di deterioramento. Cosa dice la guida che questo numero non comunica a un ospedale?
    • How well the model ranks cases in the vendor's own dataset
    • Whether the model was built with machine learning
    • How the tool will behave with the hospital's own patients, workflow and alert threshold
    • Whether the model can be installed in an EHR
  2. Cosa ha scoperto la validazione esterna del 2021 di un modello proprietario di sepsi, pubblicata su JAMA Internal Medicine?
    • Much weaker discrimination than the developer reported, with many missed cases and frequent alerts
    • Performance identical to the developer's figures
    • Better performance at the external site than at the development site
    • That the FDA had revoked the model's clearance
  3. È stato convalidato un modello in cui una condizione colpisce il 10% dei pazienti. Perché potrebbe generare più falsi allarmi su un'unità in cui solo il 2% presenta la condizione?
    • Calibration always improves at lower prevalence
    • AUC automatically falls when prevalence falls
    • Sensitivity rises sharply at lower prevalence
    • Positive predictive value depends on prevalence, so a larger share of alerts are false when the condition is rarer
  4. Secondo la guida, quale percorso utilizza la maggior parte dei dispositivi medici basati sull’intelligenza artificiale per raggiungere il mercato statunitense?
    • Premarket approval backed by randomized trials
    • The 510(k) pathway, based on substantial equivalence to an existing device
    • No FDA review of any kind
    • Emergency use authorization
  5. Che cos'è un'implementazione silenziosa o ombra di un modello di intelligenza artificiale clinica?
    • Muting the sound on alert notifications
    • A vendor updating the model without telling the customer
    • Letting the model score live patients without showing results to clinicians, so local performance can be measured
    • Running the model only during overnight shifts
  6. A dermatology group learns that darker skin tones were rare in a classifier's training images. Which evaluation area does this concern?
    • Post-deployment monitoring
    • Bias, meaning performance across patient subgroups
    • Regulatory status
    • Alert threshold selection
  7. A model assigns 30 percent risk to a group of patients, but only 10 percent of them go on to have the outcome. What problem does this show?
    • A low AUC, necessarily
    • Substantial equivalence failure
    • High positive predictive value
    • Poor calibration
  8. After go-live, a hospital switches to a new lab assay and the values feeding the model shift. What does the guide call this, and how should it be handled?
    • Input drift, which ongoing monitoring should detect
    • Algorithm aversion, which training should fix
    • Substantial equivalence, which the FDA handles
    • Prevalence shift, which needs no action