Iparági ÚTMUTATÓ

Az orvosi mesterséges intelligencia eszközök értékelése klinikusként

Az orvosi mesterségesintelligencia-eszköz értékeléséhez a bevezetés előtt és után ellenőrizni kell, hogy pontosan és tisztességesen működik-e a saját pácienseinél és a saját munkafolyamatában.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az orvosi mesterséges intelligencia eszközök klinikuskénti értékelésének jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ön is megerősíti a szabályozási státuszát, és azt, hogy valaki felügyeli. Ez azért fontos, mert a szállító pontossági adatai valaki más adataiból származnak. Azok a klinikusok, akik konkrét kérdéseket tesznek fel az érvényesítésről, az elfogultságról és a felügyeletről, megvédik a betegeket azoktól az eszközöktől, amelyek papíron jól néznek ki, de helyben meghibásodnak.

Mély merülés

A legtöbb szállítói követelés egy főcímmutatón nyugszik, gyakran a ROC-görbe alatti területen (AUC), amelyet a szállító által kiválasztott adatkészleten mérnek. Ez a szám egy szűk kérdésre ad választ: mennyire rangsorolja a modell az eseteket az adatkészletben. Semmit nem mond arról, hogy az eszköz hogyan fog viselkedni a pácienssel, a dokumentációs szokásaival, a szkennereivel vagy a ténylegesen használt riasztási küszöbértékkel kapcsolatban. A rés nagy lehet. Egy szabadalmaztatott szepszis-előrejelzési modell 2021-es, széles körben hivatkozott külső validálása, amelyet a JAMA Internal Medicine publikáltak, sokkal gyengébb diszkriminációt talált, mint a fejlesztő jelentette. A modell sok szepszises esetet kihagyott, miközben továbbra is gyakori riasztásokat adott ki. Egy hasznos értékelés öt területet fed le. Érvényesítési adatok. Honnan származtak a képzési és tesztadatok? A teszthelyek elkülönültek a képzési helyszínektől? A tanulmány retrospektív vagy prospektív volt?; Helyi teljesítmény. Futtathatja-e a modellt csendben saját adatain, és mérheti az érzékenységet, a pozitív prediktív értéket és a kalibrációt a tervezett küszöbértéken?; Elfogultság. Az eredményeket életkor, nem, faj és etnikai hovatartozás, nyelv, biztosítás és eszköztípus szerint jelentik? Hogyan kezelték az alulreprezentált csoportokat?; Szabályozási állapot. A termék FDA-engedélyezett vagy jóváhagyott, és milyen javallatra? Vagy az eladó azt mondja, hogy ez nem eszköz klinikai döntéstámogatás?; és a monitorozás. Ki nézi az előadást az élő adás után? Hogyan észlelhető a sodródás? Mi történik, ha az eladó frissíti a modellt? Általános tévhit az, hogy az FDA engedélye azt bizonyítja, hogy egy eszköz javítja az eredményeket. A legtöbb mesterséges intelligencia eszköz az 510(k) útvonalon keresztül jut el a piacra, amihez lényeges egyenértékűséget kell mutatni egy meglévő eszközzel. Ezen beadványok közül sok kevés potenciális vagy több helyszíni bizonyítékot tartalmaz. Egy másik tévhit az, hogy a magas AUC garantálja a hasznosságot. Ritka esetekben még egy pontos modell is többnyire téves riasztásokat produkál. A kiértékelés és a közzétett pontosság az, ahol az értékelés kezdődik, nem pedig ott, ahol véget ér.

Valós megvalósítás

A szepszis riasztást fontolgató kórház külső validálási eredményeket kér az eladótól. Mielőtt bármilyen riasztás eljutna a klinikusokhoz, csendben futtatja a modellt saját múltbeli találkozásainak hónapjai alapján, és összehasonlítja a jelzőtáblákat a diagramon megerősített szepszisesetekkel.

A bőrelváltozások osztályozóját vizsgáló bőrgyógyászati ​​csoport bőrtípusonkénti bontásban kéri a teljesítményt. Megtudja, hogy a sötétebb bőrtónusok a képzési képek kis részét teszik ki, ezért korlátozza az eszköz felhasználási helyét, és további bizonyítékokat kér az eladótól.

A radiológiai osztály ellenőrzi az FDA nyilvános eszközrekordjait, hogy megbizonyosodjon arról, hogy a mellkasröntgen-besorolási eszköz pontos indikációt és képtípusokat tartalmaz, amelyeket használni kíván, nem csak egy szűkebbre.

A környezeti dokumentációs leíró telepítése után a klinika minden hónapban áttekint egy mintát a jegyzetekből. Nyomon követi a hibatípusokat, például a kitalált vizsgálati eredményeket vagy a rossz gyógyszeradagokat, és egy megnevezett tulajdonos továbbítja a problémákat az eladónak.

Az orvosi mesterséges intelligencia eszközök klinikuskénti értékelésének jövője

Strukturáltabb átláthatóságra számíthat. Az Egyesült Államokban az egészségügyi IT-re vonatkozó szövetségi tanúsítási szabályok most megkövetelik bizonyos döntéstámogató eszközöket a tanúsított EHR-ekben, hogy közzétegyék, hogyan fejlesztették ki és érvényesítették őket. Iparági csoportok szabványos kártyamodelleket is javasoltak. Az FDA útmutatást adott ki az előre meghatározott változásszabályozási tervekről, amelyek lehetővé teszik a gyártók számára, hogy előre leírják a tervezett modellfrissítéseket. Ezek egyike sem helyettesíti a helyi értékelést. A nagy egészségügyi rendszerek belső mesterségesintelligencia-irányítási bizottságokat és megfigyelő infrastruktúrát építenek ki, de sok kisebb gyakorlatban nincs elegendő személyzet ehhez. A megosztott értékelési erőforrások és az egyértelműbb szállítói kötelezettségek továbbra is nyitott probléma.

A gyakorlatba ültetés

Miért számít

  • Kontextus és szabályok. Az iparági kontextus határozza meg, hogy az AI ötletek túlélik-e a valósággal való érintkezést.
  • Minőségellenőrzés. A tartományi korlátok befolyásolják az elfogadható hibaarányt és a felügyeleti modelleket.
  • Építési lehetőségek. A sikeres telepítések összehangolják a műszaki képességeket a frontvonalbeli munkafolyamatokkal.

Vigyázz

  • A szabályozási követelmények érvényteleníthetik az egyébként erős prototípusokat.
  • A korábbi adatok olyan elfogultságot kódolhatnak, amely bizonyos közösségeket károsít.
  • Az örökölt rendszerek szűk keresztmetszeteket és rejtett költségeket okozhatnak az integrációban.

Következő lépések

  1. Vonjon be területi szakértőket a probléma megfogalmazásától az értékelésig.
  2. Tervezze meg az ellenőrzési nyomvonalakat és a dokumentációt az indítás előtt.
  3. Korán érvényesítse a megfelelési és biztonsági kötelezettségeket.
  4. Fázisokban történő bevezetés egyértelmű leállítási és visszaállítási kritériumokkal.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Evaluating Medical AI Tools as a Clinician quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mit jelent az orvosi mesterséges intelligencia eszközök értékelése klinikusként?

Az orvosi mesterségesintelligencia-eszköz értékeléséhez a bevezetés előtt és után ellenőrizni kell, hogy pontosan és tisztességesen működik-e a saját pácienseinél és a saját munkafolyamatában. Ön is megerősíti a szabályozási státuszát, és azt, hogy valaki felügyeli. Ez azért fontos, mert a szállító pontossági adatai valaki más adataiból származnak. Azok a klinikusok, akik konkrét kérdéseket tesznek fel az érvényesítésről, az elfogultságról és a felügyeletről, megvédik a betegeket azoktól az eszközöktől, amelyek papíron jól néznek ki, de helyben meghibásodnak.

Egy szállító 0,85-ös AUC-értéket közöl a romlási modelljére vonatkozóan. Mit mond az útmutató, ez a szám nem árul el egy kórházat?

Az AUC a szállító által kiválasztott adatkészlet rangsorolását méri. Nem fedi fel a teljesítményt eltérő betegösszetétellel, eltérő dokumentációs szokásokkal vagy a kórház által használt konkrét küszöbértékkel.

Mit talált egy szabadalmaztatott szepszis modell 2021-es külső validálása, amelyet a JAMA Internal Medicine publikáltak?

A tanulmány megállapította, hogy egy külső egészségügyi rendszerben a teljesítmény sokkal rosszabb volt, mint azt állítják. A modell sok szepszisesetet kihagyott, miközben számos riasztást generált, ami megmutatja, miért számít a helyi érvényesítés.

Egy olyan modellt validáltak, ahol egy állapot a betegek 10 százalékát érinti. Miért generálhat több téves riasztást egy olyan egységen, ahol csak 2 százalékuk van ilyen állapotban?

A PPV az igaz pozitív riasztások töredéke. Ha egy állapot ritkább, ugyanaz a modell viszonylag több hamis pozitív eredményt produkál, mint az igaz.

Az útmutató szerint melyik utat használja a legtöbb mesterséges intelligencia orvosi eszköz, hogy elérje az Egyesült Államok piacát?

A legtöbb mesterséges intelligencia eszköze az 510(k) szabvány szerint engedélyezett, amihez a jobb eredmények bizonyítása helyett lényeges egyenértékűség szükséges. Éppen ezért az üresedés önmagában nem bizonyítja, hogy egy szerszám a gyakorlatban működik.

Mit jelent egy klinikai mesterségesintelligencia-modell csendes vagy árnyékos alkalmazása?

Csendes üzembe helyezés esetén a modell valós helyi adatokon fut, miközben a klinikusok soha nem látják a kimenetét. Ez lehetővé teszi a kórház számára, hogy biztonságosan mérje az érzékenységet, a PPV-t és a kalibrációt az üzembe helyezés előtt.