Gids-gekoppelde quiz · Middelmatig Niveau

Medische AI-hulpmiddelen evalueren als een quiz voor artsen

Tests waarbij de validatiegegevens van leveranciers worden beoordeeld, waarom positieve voorspellende waarde en kalibratie lokaal van belang zijn, en wat de FDA 510(k)-goedkeuring laat zien.

Vraag 1 van 8

Een leverancier rapporteert een AUC van 0,85 voor zijn verslechteringsmodel. Wat zegt de gids dat dit nummer een ziekenhuis niet vertelt?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Een leverancier rapporteert een AUC van 0,85 voor zijn verslechteringsmodel. Wat zegt de gids dat dit nummer een ziekenhuis niet vertelt?
    • Hoe goed het model cases rangschikt in de eigen dataset van de leverancier
    • Of het model is gebouwd met machine learning
    • Hoe de tool zich zal gedragen bij de eigen patiënten van het ziekenhuis, de workflow en de waarschuwingsdrempel
    • Of het model in een EPD kan worden geïnstalleerd
  2. Wat heeft de externe validatie in 2021 van een gepatenteerd sepsismodel, gepubliceerd in JAMA Internal Medicine, opgeleverd?
    • Veel zwakkere discriminatie dan de ontwikkelaar meldde, met veel gemiste gevallen en frequente waarschuwingen
    • Prestaties identiek aan de cijfers van de ontwikkelaar
    • Betere prestaties op de externe locatie dan op de ontwikkelingslocatie
    • Dat de FDA de goedkeuring van het model had ingetrokken
  3. Er werd een model gevalideerd waarbij een aandoening 10 procent van de patiënten treft. Waarom zou het meer valse alarmen kunnen genereren op een afdeling waar slechts 2 procent de aandoening heeft?
    • Kalibratie verbetert altijd bij een lagere prevalentie
    • De AUC daalt automatisch als de prevalentie daalt
    • De gevoeligheid stijgt scherp bij een lagere prevalentie
    • De positief voorspellende waarde hangt af van de prevalentie, dus een groter deel van de waarschuwingen is vals als de aandoening zeldzamer is
  4. Welke route gebruiken de meeste medische AI-apparaten volgens de gids om de Amerikaanse markt te bereiken?
    • Goedkeuring vóór het op de markt brengen ondersteund door gerandomiseerde onderzoeken
    • Het 510(k)-pad, gebaseerd op substantiële gelijkwaardigheid met een bestaand apparaat
    • Geen enkele FDA-beoordeling
    • Autorisatie voor gebruik in noodgevallen
  5. Wat is een stille of schaduwimplementatie van een klinisch AI-model?
    • Het geluid dempen bij waarschuwingsmeldingen
    • Een leverancier die het model bijwerkt zonder de klant hiervan op de hoogte te stellen
    • Door het model levende patiënten te laten scoren zonder de resultaten aan artsen te tonen, kunnen lokale prestaties worden gemeten
    • Laat het model alleen draaien tijdens nachtdiensten
  6. Een dermatologiegroep ontdekt dat donkere huidtinten zeldzaam waren in de trainingsbeelden van een classificator. Om welk evaluatiegebied gaat het?
    • Monitoring na de implementatie
    • Bias, dat wil zeggen prestaties in subgroepen van patiënten
    • Regelgevende status
    • Selectie van waarschuwingsdrempel
  7. Een model wijst een risico van 30 procent toe aan een groep patiënten, maar slechts 10 procent van hen krijgt de uitkomst. Welk probleem blijkt hieruit?
    • Een lage AUC, noodzakelijkerwijs
    • Substantiële gelijkwaardigheidsfout
    • Hoge positief voorspellende waarde
    • Slechte kalibratie
  8. Na de go-live schakelt een ziekenhuis over op een nieuwe laboratoriumtest en verschuiven de waarden die het model voeden. Hoe noemt de gids dit en hoe moet hiermee worden omgegaan?
    • Invoerdrift, die door voortdurende monitoring zou moeten worden gedetecteerd
    • Afkeer van algoritmen, die training zou moeten oplossen
    • Substantiële gelijkwaardigheid, waar de FDA mee omgaat
    • Prevalentieverschuiving, waarvoor geen actie nodig is