Quiz collegato alla guida · Medio Livello
Valutazione degli strumenti di intelligenza artificiale medica come quiz per i medici
I test valutano i dati di convalida del fornitore, perché il valore predittivo positivo e la calibrazione sono importanti a livello locale e cosa mostra l'autorizzazione FDA 510(k).
Domanda 1 di 8
Un fornitore segnala un AUC di 0,85 per il suo modello di deterioramento. Cosa dice la guida che questo numero non comunica a un ospedale?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Un fornitore segnala un AUC di 0,85 per il suo modello di deterioramento. Cosa dice la guida che questo numero non comunica a un ospedale?
- How well the model ranks cases in the vendor's own dataset
- Whether the model was built with machine learning
- How the tool will behave with the hospital's own patients, workflow and alert threshold
- Whether the model can be installed in an EHR
- Cosa ha scoperto la validazione esterna del 2021 di un modello proprietario di sepsi, pubblicata su JAMA Internal Medicine?
- Much weaker discrimination than the developer reported, with many missed cases and frequent alerts
- Performance identical to the developer's figures
- Better performance at the external site than at the development site
- That the FDA had revoked the model's clearance
- È stato convalidato un modello in cui una condizione colpisce il 10% dei pazienti. Perché potrebbe generare più falsi allarmi su un'unità in cui solo il 2% presenta la condizione?
- Calibration always improves at lower prevalence
- AUC automatically falls when prevalence falls
- Sensitivity rises sharply at lower prevalence
- Positive predictive value depends on prevalence, so a larger share of alerts are false when the condition is rarer
- Secondo la guida, quale percorso utilizza la maggior parte dei dispositivi medici basati sull’intelligenza artificiale per raggiungere il mercato statunitense?
- Premarket approval backed by randomized trials
- The 510(k) pathway, based on substantial equivalence to an existing device
- No FDA review of any kind
- Emergency use authorization
- Che cos'è un'implementazione silenziosa o ombra di un modello di intelligenza artificiale clinica?
- Muting the sound on alert notifications
- A vendor updating the model without telling the customer
- Letting the model score live patients without showing results to clinicians, so local performance can be measured
- Running the model only during overnight shifts
- A dermatology group learns that darker skin tones were rare in a classifier's training images. Which evaluation area does this concern?
- Post-deployment monitoring
- Bias, meaning performance across patient subgroups
- Regulatory status
- Alert threshold selection
- A model assigns 30 percent risk to a group of patients, but only 10 percent of them go on to have the outcome. What problem does this show?
- A low AUC, necessarily
- Substantial equivalence failure
- High positive predictive value
- Poor calibration
- After go-live, a hospital switches to a new lab assay and the values feeding the model shift. What does the guide call this, and how should it be handled?
- Input drift, which ongoing monitoring should detect
- Algorithm aversion, which training should fix
- Substantial equivalence, which the FDA handles
- Prevalence shift, which needs no action