Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Az orvosi mesterséges intelligencia eszközök értékelése klinikus kvízként
Tesztelve értékeli a szállítói érvényességi adatokat, miért számít helyileg a pozitív prediktív értéknek és a kalibrációnak, és mit mutat az FDA 510(k) clearance.
kérdés 1 -ból 8
Egy szállító 0,85-ös AUC-értéket közöl a romlási modelljére vonatkozóan. Mit mond az útmutató, ez a szám nem árul el egy kórházat?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Egy szállító 0,85-ös AUC-értéket közöl a romlási modelljére vonatkozóan. Mit mond az útmutató, ez a szám nem árul el egy kórházat?
- How well the model ranks cases in the vendor's own dataset
- Whether the model was built with machine learning
- How the tool will behave with the hospital's own patients, workflow and alert threshold
- Whether the model can be installed in an EHR
- Mit talált egy szabadalmaztatott szepszis modell 2021-es külső validálása, amelyet a JAMA Internal Medicine publikáltak?
- Much weaker discrimination than the developer reported, with many missed cases and frequent alerts
- Performance identical to the developer's figures
- Better performance at the external site than at the development site
- That the FDA had revoked the model's clearance
- Egy olyan modellt validáltak, ahol egy állapot a betegek 10 százalékát érinti. Miért generálhat több téves riasztást egy olyan egységen, ahol csak 2 százalékuk van ilyen állapotban?
- Calibration always improves at lower prevalence
- AUC automatically falls when prevalence falls
- Sensitivity rises sharply at lower prevalence
- Positive predictive value depends on prevalence, so a larger share of alerts are false when the condition is rarer
- Az útmutató szerint melyik utat használja a legtöbb mesterséges intelligencia orvosi eszköz, hogy elérje az Egyesült Államok piacát?
- Premarket approval backed by randomized trials
- The 510(k) pathway, based on substantial equivalence to an existing device
- No FDA review of any kind
- Emergency use authorization
- Mit jelent egy klinikai mesterségesintelligencia-modell csendes vagy árnyékos alkalmazása?
- Muting the sound on alert notifications
- A vendor updating the model without telling the customer
- Letting the model score live patients without showing results to clinicians, so local performance can be measured
- Running the model only during overnight shifts
- A dermatology group learns that darker skin tones were rare in a classifier's training images. Which evaluation area does this concern?
- Post-deployment monitoring
- Bias, meaning performance across patient subgroups
- Regulatory status
- Alert threshold selection
- A model assigns 30 percent risk to a group of patients, but only 10 percent of them go on to have the outcome. What problem does this show?
- A low AUC, necessarily
- Substantial equivalence failure
- High positive predictive value
- Poor calibration
- After go-live, a hospital switches to a new lab assay and the values feeding the model shift. What does the guide call this, and how should it be handled?
- Input drift, which ongoing monitoring should detect
- Algorithm aversion, which training should fix
- Substantial equivalence, which the FDA handles
- Prevalence shift, which needs no action