引導式測驗 · 中等 等級

將醫療人工智慧工具作為臨床醫生測驗進行評估

測試判斷供應商驗證數據、為什麼陽性預測值和校準在當地很重要,以及 FDA 510(k) 許可顯示的內容。

問題 1 的 8

供應商報告其惡化模型的 AUC 為 0.85。指引上說這個數字沒有告訴醫院什麼意思?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 供應商報告其惡化模型的 AUC 為 0.85。指引上說這個數字沒有告訴醫院什麼意思?
    • 模型對供應商自己的資料集中的案例進行排名的效果如何
    • 模型是否是透過機器學習建構的
    • 該工具將如何處理醫院自己的患者、工作流程和警報閾值
    • 該模型是否可以安裝在 EHR 中
  2. 發表在《JAMA Internal Medicine》上的 2021 年專有敗血症模型的外部驗證發現了什麼?
    • 歧視比開發商報告的要弱得多,有許多漏檢案例和頻繁的警報
    • 性能與開發人員的數據相同
    • 外部站點的效能優於開發站點的效能
    • FDA 已撤銷該型號的許可
  3. 模型在影響 10% 患者的情況下得到驗證。為什麼它可能會在一個只有 2% 的設備出現這種情況的設備上產生更多的誤報?
    • 校準總是在較低盛行率下得到改善
    • 當盛行率下降時,AUC 自動下降
    • 患病率較低時敏感性急劇上升
    • 陽性預測值取決於盛行率,因此當病情較罕見時,較大比例的警報是錯誤的
  4. 根據指南,大多數人工智慧醫療設備透過什麼途徑進入美國市場?
    • 由隨機試驗支持的上市前批准
    • 510(k) 途徑,基於與現有設備的實質等效性
    • 沒有 FDA 任何形式的審查
    • 緊急使用授權
  5. 什麼是臨床人工智慧模式的靜默或影子部署?
    • 將警報通知靜音
    • 供應商在未告知客戶的情況下更新模型
    • 讓模型對活體患者進行評分,而不向臨床醫生顯示結果,以便可以測量局部表現
    • 僅在夜班期間運行模型
  6. 皮膚科小組了解到,在分類器的訓練影像中,較深的膚色很少見。這涉及哪個評估領域?
    • 部署後監控
    • 偏差,意味著患者亞組的表現
    • 監管狀況
    • 警報閾值選擇
  7. 模型將 30% 的風險分配給一組患者,但其中只有 10% 的患者能夠繼續獲得結果。這說明什麼問題?
    • AUC 必然較低
    • 實質等效失敗
    • 高陽性預測值
    • 校準不良
  8. 上線後,醫院改用新的實驗室檢測,模型的數值也會改變。指南對此有何稱呼?應如何處理?
    • 輸入漂移,持續監控應偵測到
    • 算法厭惡,應該透過訓練來解決
    • FDA 處理的實質等同性
    • 流行率轉變,無需採取行動