LegközelebbKövetkező útmutató
Az AI EdTech Tools for Schools értékelése
Alkalmazások
Iparági ÚTMUTATÓ
Az orvosi mesterségesintelligencia-eszköz értékeléséhez a bevezetés előtt és után ellenőrizni kell, hogy pontosan és tisztességesen működik-e a saját pácienseinél és a saját munkafolyamatában.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ön is megerősíti a szabályozási státuszát, és azt, hogy valaki felügyeli. Ez azért fontos, mert a szállító pontossági adatai valaki más adataiból származnak. Azok a klinikusok, akik konkrét kérdéseket tesznek fel az érvényesítésről, az elfogultságról és a felügyeletről, megvédik a betegeket azoktól az eszközöktől, amelyek papíron jól néznek ki, de helyben meghibásodnak.
A legtöbb szállítói követelés egy főcímmutatón nyugszik, gyakran a ROC-görbe alatti területen (AUC), amelyet a szállító által kiválasztott adatkészleten mérnek. Ez a szám egy szűk kérdésre ad választ: mennyire rangsorolja a modell az eseteket az adatkészletben. Semmit nem mond arról, hogy az eszköz hogyan fog viselkedni a pácienssel, a dokumentációs szokásaival, a szkennereivel vagy a ténylegesen használt riasztási küszöbértékkel kapcsolatban. A rés nagy lehet. Egy szabadalmaztatott szepszis-előrejelzési modell 2021-es, széles körben hivatkozott külső validálása, amelyet a JAMA Internal Medicine publikáltak, sokkal gyengébb diszkriminációt talált, mint a fejlesztő jelentette. A modell sok szepszises esetet kihagyott, miközben továbbra is gyakori riasztásokat adott ki. Egy hasznos értékelés öt területet fed le. Érvényesítési adatok. Honnan származtak a képzési és tesztadatok? A teszthelyek elkülönültek a képzési helyszínektől? A tanulmány retrospektív vagy prospektív volt?; Helyi teljesítmény. Futtathatja-e a modellt csendben saját adatain, és mérheti az érzékenységet, a pozitív prediktív értéket és a kalibrációt a tervezett küszöbértéken?; Elfogultság. Az eredményeket életkor, nem, faj és etnikai hovatartozás, nyelv, biztosítás és eszköztípus szerint jelentik? Hogyan kezelték az alulreprezentált csoportokat?; Szabályozási állapot. A termék FDA-engedélyezett vagy jóváhagyott, és milyen javallatra? Vagy az eladó azt mondja, hogy ez nem eszköz klinikai döntéstámogatás?; és a monitorozás. Ki nézi az előadást az élő adás után? Hogyan észlelhető a sodródás? Mi történik, ha az eladó frissíti a modellt? Általános tévhit az, hogy az FDA engedélye azt bizonyítja, hogy egy eszköz javítja az eredményeket. A legtöbb mesterséges intelligencia eszköz az 510(k) útvonalon keresztül jut el a piacra, amihez lényeges egyenértékűséget kell mutatni egy meglévő eszközzel. Ezen beadványok közül sok kevés potenciális vagy több helyszíni bizonyítékot tartalmaz. Egy másik tévhit az, hogy a magas AUC garantálja a hasznosságot. Ritka esetekben még egy pontos modell is többnyire téves riasztásokat produkál. A kiértékelés és a közzétett pontosság az, ahol az értékelés kezdődik, nem pedig ott, ahol véget ér.
A szepszis riasztást fontolgató kórház külső validálási eredményeket kér az eladótól. Mielőtt bármilyen riasztás eljutna a klinikusokhoz, csendben futtatja a modellt saját múltbeli találkozásainak hónapjai alapján, és összehasonlítja a jelzőtáblákat a diagramon megerősített szepszisesetekkel.
A bőrelváltozások osztályozóját vizsgáló bőrgyógyászati csoport bőrtípusonkénti bontásban kéri a teljesítményt. Megtudja, hogy a sötétebb bőrtónusok a képzési képek kis részét teszik ki, ezért korlátozza az eszköz felhasználási helyét, és további bizonyítékokat kér az eladótól.
A radiológiai osztály ellenőrzi az FDA nyilvános eszközrekordjait, hogy megbizonyosodjon arról, hogy a mellkasröntgen-besorolási eszköz pontos indikációt és képtípusokat tartalmaz, amelyeket használni kíván, nem csak egy szűkebbre.
A környezeti dokumentációs leíró telepítése után a klinika minden hónapban áttekint egy mintát a jegyzetekből. Nyomon követi a hibatípusokat, például a kitalált vizsgálati eredményeket vagy a rossz gyógyszeradagokat, és egy megnevezett tulajdonos továbbítja a problémákat az eladónak.
Strukturáltabb átláthatóságra számíthat. Az Egyesült Államokban az egészségügyi IT-re vonatkozó szövetségi tanúsítási szabályok most megkövetelik bizonyos döntéstámogató eszközöket a tanúsított EHR-ekben, hogy közzétegyék, hogyan fejlesztették ki és érvényesítették őket. Iparági csoportok szabványos kártyamodelleket is javasoltak. Az FDA útmutatást adott ki az előre meghatározott változásszabályozási tervekről, amelyek lehetővé teszik a gyártók számára, hogy előre leírják a tervezett modellfrissítéseket. Ezek egyike sem helyettesíti a helyi értékelést. A nagy egészségügyi rendszerek belső mesterségesintelligencia-irányítási bizottságokat és megfigyelő infrastruktúrát építenek ki, de sok kisebb gyakorlatban nincs elegendő személyzet ehhez. A megosztott értékelési erőforrások és az egyértelműbb szállítói kötelezettségek továbbra is nyitott probléma.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az orvosi mesterségesintelligencia-eszköz értékeléséhez a bevezetés előtt és után ellenőrizni kell, hogy pontosan és tisztességesen működik-e a saját pácienseinél és a saját munkafolyamatában. Ön is megerősíti a szabályozási státuszát, és azt, hogy valaki felügyeli. Ez azért fontos, mert a szállító pontossági adatai valaki más adataiból származnak. Azok a klinikusok, akik konkrét kérdéseket tesznek fel az érvényesítésről, az elfogultságról és a felügyeletről, megvédik a betegeket azoktól az eszközöktől, amelyek papíron jól néznek ki, de helyben meghibásodnak.
Az AUC a szállító által kiválasztott adatkészlet rangsorolását méri. Nem fedi fel a teljesítményt eltérő betegösszetétellel, eltérő dokumentációs szokásokkal vagy a kórház által használt konkrét küszöbértékkel.
A tanulmány megállapította, hogy egy külső egészségügyi rendszerben a teljesítmény sokkal rosszabb volt, mint azt állítják. A modell sok szepszisesetet kihagyott, miközben számos riasztást generált, ami megmutatja, miért számít a helyi érvényesítés.
A PPV az igaz pozitív riasztások töredéke. Ha egy állapot ritkább, ugyanaz a modell viszonylag több hamis pozitív eredményt produkál, mint az igaz.
A legtöbb mesterséges intelligencia eszköze az 510(k) szabvány szerint engedélyezett, amihez a jobb eredmények bizonyítása helyett lényeges egyenértékűség szükséges. Éppen ezért az üresedés önmagában nem bizonyítja, hogy egy szerszám a gyakorlatban működik.
Csendes üzembe helyezés esetén a modell valós helyi adatokon fut, miközben a klinikusok soha nem látják a kimenetét. Ez lehetővé teszi a kórház számára, hogy biztonságosan mérje az érzékenységet, a PPV-t és a kalibrációt az üzembe helyezés előtt.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Az AI EdTech Tools for Schools értékelése
Alkalmazások