Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Az orvosi mesterséges intelligencia eszközök értékelése klinikus kvízként

Tesztelve értékeli a szállítói érvényességi adatokat, miért számít helyileg a pozitív prediktív értéknek és a kalibrációnak, és mit mutat az FDA 510(k) clearance.

kérdés 1 -ból 8

Egy szállító 0,85-ös AUC-értéket közöl a romlási modelljére vonatkozóan. Mit mond az útmutató, ez a szám nem árul el egy kórházat?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Egy szállító 0,85-ös AUC-értéket közöl a romlási modelljére vonatkozóan. Mit mond az útmutató, ez a szám nem árul el egy kórházat?
    • How well the model ranks cases in the vendor's own dataset
    • Whether the model was built with machine learning
    • How the tool will behave with the hospital's own patients, workflow and alert threshold
    • Whether the model can be installed in an EHR
  2. Mit talált egy szabadalmaztatott szepszis modell 2021-es külső validálása, amelyet a JAMA Internal Medicine publikáltak?
    • Much weaker discrimination than the developer reported, with many missed cases and frequent alerts
    • Performance identical to the developer's figures
    • Better performance at the external site than at the development site
    • That the FDA had revoked the model's clearance
  3. Egy olyan modellt validáltak, ahol egy állapot a betegek 10 százalékát érinti. Miért generálhat több téves riasztást egy olyan egységen, ahol csak 2 százalékuk van ilyen állapotban?
    • Calibration always improves at lower prevalence
    • AUC automatically falls when prevalence falls
    • Sensitivity rises sharply at lower prevalence
    • Positive predictive value depends on prevalence, so a larger share of alerts are false when the condition is rarer
  4. Az útmutató szerint melyik utat használja a legtöbb mesterséges intelligencia orvosi eszköz, hogy elérje az Egyesült Államok piacát?
    • Premarket approval backed by randomized trials
    • The 510(k) pathway, based on substantial equivalence to an existing device
    • No FDA review of any kind
    • Emergency use authorization
  5. Mit jelent egy klinikai mesterségesintelligencia-modell csendes vagy árnyékos alkalmazása?
    • Muting the sound on alert notifications
    • A vendor updating the model without telling the customer
    • Letting the model score live patients without showing results to clinicians, so local performance can be measured
    • Running the model only during overnight shifts
  6. A dermatology group learns that darker skin tones were rare in a classifier's training images. Which evaluation area does this concern?
    • Post-deployment monitoring
    • Bias, meaning performance across patient subgroups
    • Regulatory status
    • Alert threshold selection
  7. A model assigns 30 percent risk to a group of patients, but only 10 percent of them go on to have the outcome. What problem does this show?
    • A low AUC, necessarily
    • Substantial equivalence failure
    • High positive predictive value
    • Poor calibration
  8. After go-live, a hospital switches to a new lab assay and the values feeding the model shift. What does the guide call this, and how should it be handled?
    • Input drift, which ongoing monitoring should detect
    • Algorithm aversion, which training should fix
    • Substantial equivalence, which the FDA handles
    • Prevalence shift, which needs no action