แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

การประเมินเครื่องมือ AI ทางการแพทย์เป็นแบบทดสอบทางคลินิก

ทดสอบการตัดสินข้อมูลการตรวจสอบความถูกต้องของผู้ขาย เหตุใดค่าคาดการณ์เชิงบวกและการสอบเทียบจึงมีความสำคัญในท้องถิ่น และสิ่งที่การรับรองจาก FDA 510(k) แสดง

คำถาม 1 ของ 8

ผู้จัดจำหน่ายรายงาน AUC ที่ 0.85 สำหรับแบบจำลองการเสื่อมสภาพ คู่มือบอกว่าตัวเลขนี้ไม่สามารถบอกโรงพยาบาลได้?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ผู้จัดจำหน่ายรายงาน AUC ที่ 0.85 สำหรับแบบจำลองการเสื่อมสภาพ คู่มือบอกว่าตัวเลขนี้ไม่สามารถบอกโรงพยาบาลได้?
    • How well the model ranks cases in the vendor's own dataset
    • Whether the model was built with machine learning
    • How the tool will behave with the hospital's own patients, workflow and alert threshold
    • Whether the model can be installed in an EHR
  2. การตรวจสอบภายนอกในปี 2021 ของแบบจำลองภาวะติดเชื้อที่เป็นกรรมสิทธิ์ ซึ่งตีพิมพ์ใน JAMA Internal Medicine พบอะไรบ้าง
    • Much weaker discrimination than the developer reported, with many missed cases and frequent alerts
    • Performance identical to the developer's figures
    • Better performance at the external site than at the development site
    • That the FDA had revoked the model's clearance
  3. มีการตรวจสอบแบบจำลองเมื่อมีภาวะหนึ่งเกิดขึ้นกับผู้ป่วยร้อยละ 10 เหตุใดจึงอาจสร้างการแจ้งเตือนที่ผิดพลาดมากขึ้นในหน่วยที่มีเพียง 2 เปอร์เซ็นต์เท่านั้นที่มีอาการ?
    • Calibration always improves at lower prevalence
    • AUC automatically falls when prevalence falls
    • Sensitivity rises sharply at lower prevalence
    • Positive predictive value depends on prevalence, so a larger share of alerts are false when the condition is rarer
  4. ตามคำแนะนำ อุปกรณ์การแพทย์ AI ส่วนใหญ่ใช้เส้นทางใดในการเข้าถึงตลาดสหรัฐอเมริกา
    • Premarket approval backed by randomized trials
    • The 510(k) pathway, based on substantial equivalence to an existing device
    • No FDA review of any kind
    • Emergency use authorization
  5. การใช้งานโมเดล AI ทางคลินิกแบบเงียบหรือแบบเงาคืออะไร
    • Muting the sound on alert notifications
    • A vendor updating the model without telling the customer
    • Letting the model score live patients without showing results to clinicians, so local performance can be measured
    • Running the model only during overnight shifts
  6. A dermatology group learns that darker skin tones were rare in a classifier's training images. Which evaluation area does this concern?
    • Post-deployment monitoring
    • Bias, meaning performance across patient subgroups
    • Regulatory status
    • Alert threshold selection
  7. A model assigns 30 percent risk to a group of patients, but only 10 percent of them go on to have the outcome. What problem does this show?
    • A low AUC, necessarily
    • Substantial equivalence failure
    • High positive predictive value
    • Poor calibration
  8. After go-live, a hospital switches to a new lab assay and the values feeding the model shift. What does the guide call this, and how should it be handled?
    • Input drift, which ongoing monitoring should detect
    • Algorithm aversion, which training should fix
    • Substantial equivalence, which the FDA handles
    • Prevalence shift, which needs no action