แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
การประเมินเครื่องมือ AI ทางการแพทย์เป็นแบบทดสอบทางคลินิก
ทดสอบการตัดสินข้อมูลการตรวจสอบความถูกต้องของผู้ขาย เหตุใดค่าคาดการณ์เชิงบวกและการสอบเทียบจึงมีความสำคัญในท้องถิ่น และสิ่งที่การรับรองจาก FDA 510(k) แสดง
คำถาม 1 ของ 8
ผู้จัดจำหน่ายรายงาน AUC ที่ 0.85 สำหรับแบบจำลองการเสื่อมสภาพ คู่มือบอกว่าตัวเลขนี้ไม่สามารถบอกโรงพยาบาลได้?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ผู้จัดจำหน่ายรายงาน AUC ที่ 0.85 สำหรับแบบจำลองการเสื่อมสภาพ คู่มือบอกว่าตัวเลขนี้ไม่สามารถบอกโรงพยาบาลได้?
- How well the model ranks cases in the vendor's own dataset
- Whether the model was built with machine learning
- How the tool will behave with the hospital's own patients, workflow and alert threshold
- Whether the model can be installed in an EHR
- การตรวจสอบภายนอกในปี 2021 ของแบบจำลองภาวะติดเชื้อที่เป็นกรรมสิทธิ์ ซึ่งตีพิมพ์ใน JAMA Internal Medicine พบอะไรบ้าง
- Much weaker discrimination than the developer reported, with many missed cases and frequent alerts
- Performance identical to the developer's figures
- Better performance at the external site than at the development site
- That the FDA had revoked the model's clearance
- มีการตรวจสอบแบบจำลองเมื่อมีภาวะหนึ่งเกิดขึ้นกับผู้ป่วยร้อยละ 10 เหตุใดจึงอาจสร้างการแจ้งเตือนที่ผิดพลาดมากขึ้นในหน่วยที่มีเพียง 2 เปอร์เซ็นต์เท่านั้นที่มีอาการ?
- Calibration always improves at lower prevalence
- AUC automatically falls when prevalence falls
- Sensitivity rises sharply at lower prevalence
- Positive predictive value depends on prevalence, so a larger share of alerts are false when the condition is rarer
- ตามคำแนะนำ อุปกรณ์การแพทย์ AI ส่วนใหญ่ใช้เส้นทางใดในการเข้าถึงตลาดสหรัฐอเมริกา
- Premarket approval backed by randomized trials
- The 510(k) pathway, based on substantial equivalence to an existing device
- No FDA review of any kind
- Emergency use authorization
- การใช้งานโมเดล AI ทางคลินิกแบบเงียบหรือแบบเงาคืออะไร
- Muting the sound on alert notifications
- A vendor updating the model without telling the customer
- Letting the model score live patients without showing results to clinicians, so local performance can be measured
- Running the model only during overnight shifts
- A dermatology group learns that darker skin tones were rare in a classifier's training images. Which evaluation area does this concern?
- Post-deployment monitoring
- Bias, meaning performance across patient subgroups
- Regulatory status
- Alert threshold selection
- A model assigns 30 percent risk to a group of patients, but only 10 percent of them go on to have the outcome. What problem does this show?
- A low AUC, necessarily
- Substantial equivalence failure
- High positive predictive value
- Poor calibration
- After go-live, a hospital switches to a new lab assay and the values feeding the model shift. What does the guide call this, and how should it be handled?
- Input drift, which ongoing monitoring should detect
- Algorithm aversion, which training should fix
- Substantial equivalence, which the FDA handles
- Prevalence shift, which needs no action