Ocena narzędzi medycznych AI w formie quizu dla klinicystów

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Sprzedawca podaje AUC wynoszące 0,85 dla swojego modelu pogorszenia. Co mówi przewodnik? Ten numer nie informuje szpitala?
   • Jak dobrze model klasyfikuje przypadki w zestawie danych dostawcy
   • Czy model został zbudowany przy użyciu uczenia maszynowego
   • Jak narzędzie będzie się zachowywać w przypadku pacjentów szpitala, przepływu pracy i progu alarmowego
   • Czy model można zainstalować w EHR
2. Co wykazała zewnętrzna walidacja zastrzeżonego modelu sepsy, przeprowadzona w 2021 r., opublikowana w JAMA Internal Medicine?
   • Znacznie słabsza dyskryminacja niż raportowana przez dewelopera, z wieloma pominiętymi sprawami i częstymi alertami
   • Wydajność identyczna z danymi dewelopera
   • Lepsza wydajność w witrynie zewnętrznej niż w witrynie programistycznej
   • Że FDA cofnęła pozwolenie modelowi
3. Zatwierdzono model, w którym schorzenie dotyka 10 procent pacjentów. Dlaczego mogłoby to generować więcej fałszywych alarmów w jednostce, w której tylko 2 procent cierpi na tę przypadłość?
   • Kalibracja zawsze poprawia się przy mniejszej częstości występowania
   • AUC automatycznie spada, gdy spada częstość występowania
   • Wrażliwość gwałtownie wzrasta przy mniejszej częstości występowania
   • Dodatnia wartość predykcyjna zależy od częstości występowania, dlatego większa część alertów jest fałszywych, gdy schorzenie występuje rzadsze
4. Według przewodnika, jaką drogą większość urządzeń medycznych AI dociera na rynek amerykański?
   • Zatwierdzenie przed wprowadzeniem na rynek poparte randomizowanymi badaniami
   • Ścieżka 510(k), oparta na zasadniczej równoważności z istniejącym urządzeniem
   • Brak jakiejkolwiek recenzji FDA
   • Zezwolenie na użycie awaryjne
5. Na czym polega ciche lub ukryte wdrożenie klinicznego modelu sztucznej inteligencji?
   • Wyciszanie dźwięku powiadomień o alertach
   • Dostawca aktualizuje model bez informowania o tym klienta
   • Umożliwianie modelowi oceny żywych pacjentów bez pokazywania wyników lekarzom, co pozwala na zmierzenie lokalnych wyników
   • Uruchamianie modelu tylko podczas nocnych zmian
6. Grupa dermatologów dowiaduje się, że ciemniejsze odcienie skóry rzadko pojawiały się na obrazach szkoleniowych klasyfikatora. Którego obszaru ewaluacji to dotyczy?
   • Monitorowanie po wdrożeniu
   • Błąd systematyczny, oznaczający wyniki w podgrupach pacjentów
   • Stan prawny
   • Wybór progu alertu
7. Model przypisuje grupie pacjentów 30% ryzyka, ale tylko 10% z nich osiąga wynik. Jaki problem to pokazuje?
   • Koniecznie niskie AUC
   • Istotny błąd równoważności
   • Wysoka dodatnia wartość predykcyjna
   • Słaba kalibracja
8. Po uruchomieniu szpital przechodzi na nowy test laboratoryjny, a wartości wpływające na zmianę modelu. Jak nazywa się to w przewodniku i jak należy z tym postępować?
   • Dryft wejściowy, który powinien wykryć bieżący monitoring
   • Niechęć do algorytmów, którą szkolenie powinno naprawić
   • Znacząca równoważność, którą zajmuje się FDA
   • Zmiana rozpowszechnienia, która nie wymaga działań