Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Đánh giá các công cụ AI y tế như một bài kiểm tra của bác sĩ lâm sàng

Các thử nghiệm đánh giá dữ liệu xác nhận của nhà cung cấp, tại sao giá trị tiên đoán dương và hiệu chuẩn lại quan trọng ở địa phương cũng như những gì chứng nhận của FDA 510(k) cho thấy.

Đường dẫn hướng dẫn liên quanĐánh giá các công cụ AI y tế cho bác sĩ lâm sàng
Câu hỏi 1 của 8

Một nhà cung cấp báo cáo AUC là 0,85 cho mô hình xuống cấp của nó. Hướng dẫn nói con số này không cho bệnh viện biết điều gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Một nhà cung cấp báo cáo AUC là 0,85 cho mô hình xuống cấp của nó. Hướng dẫn nói con số này không cho bệnh viện biết điều gì?
    • Mô hình xếp hạng các trường hợp trong tập dữ liệu riêng của nhà cung cấp tốt như thế nào
    • Liệu mô hình có được xây dựng bằng máy học hay không
    • Công cụ sẽ hoạt động như thế nào với bệnh nhân của bệnh viện, quy trình làm việc và ngưỡng cảnh báo
    • Liệu mô hình có thể được cài đặt trong EHR hay không
  2. Xác nhận bên ngoài năm 2021 của mô hình nhiễm trùng huyết độc quyền, được công bố trên JAMA Internal Medicine, đã tìm thấy điều gì?
    • Khả năng phân biệt yếu hơn nhiều so với báo cáo của nhà phát triển, với nhiều trường hợp bị bỏ sót và cảnh báo thường xuyên
    • Hiệu năng giống hệt số liệu của nhà phát triển
    • Hiệu suất tốt hơn ở trang web bên ngoài so với trang web phát triển
    • Rằng FDA đã thu hồi giấy phép của người mẫu
  3. Một mô hình đã được xác nhận trong đó tình trạng bệnh ảnh hưởng đến 10% bệnh nhân. Tại sao nó có thể tạo ra nhiều cảnh báo sai hơn trên một đơn vị chỉ có 2% mắc bệnh này?
    • Hiệu chuẩn luôn cải thiện ở mức phổ biến thấp hơn
    • AUC tự động giảm khi tỷ lệ lưu hành giảm
    • Độ nhạy tăng mạnh ở mức phổ biến thấp hơn
    • Giá trị tiên đoán dương phụ thuộc vào mức độ phổ biến, do đó, tỷ lệ cảnh báo sai sẽ lớn hơn khi tình trạng bệnh hiếm gặp hơn
  4. Theo hướng dẫn, hầu hết các thiết bị y tế AI sử dụng con đường nào để tiếp cận thị trường Mỹ?
    • Phê duyệt trước khi tiếp thị được hỗ trợ bởi các thử nghiệm ngẫu nhiên
    • Lộ trình 510(k), dựa trên sự tương đương đáng kể với thiết bị hiện có
    • Không có đánh giá của FDA dưới bất kỳ hình thức nào
    • Ủy quyền sử dụng khẩn cấp
  5. Triển khai im lặng hoặc trong bóng tối của mô hình AI lâm sàng là gì?
    • Tắt âm thanh trên thông báo cảnh báo
    • Nhà cung cấp cập nhật mẫu mà không thông báo cho khách hàng
    • Để mô hình chấm điểm bệnh nhân còn sống mà không hiển thị kết quả cho bác sĩ lâm sàng, nhờ đó có thể đo lường hiệu suất cục bộ
    • Chỉ chạy mô hình trong ca đêm
  6. Một nhóm da liễu biết được rằng tông màu da tối hơn rất hiếm trong các hình ảnh đào tạo của máy phân loại. Lĩnh vực đánh giá nào liên quan đến vấn đề này?
    • Giám sát sau triển khai
    • Xu hướng, nghĩa là hiệu suất giữa các phân nhóm bệnh nhân
    • Tình trạng quy định
    • Lựa chọn ngưỡng cảnh báo
  7. Một mô hình gán 30% rủi ro cho một nhóm bệnh nhân, nhưng chỉ 10% trong số họ đạt được kết quả. Điều này cho thấy vấn đề gì?
    • AUC thấp, nhất thiết phải có
    • Lỗi tương đương đáng kể
    • Giá trị tiên đoán dương tính cao
    • Hiệu chuẩn kém
  8. Sau khi đưa vào hoạt động, bệnh viện chuyển sang xét nghiệm trong phòng thí nghiệm mới và các giá trị cung cấp cho mô hình sẽ thay đổi. Hướng dẫn gọi đây là gì và nên xử lý nó như thế nào?
    • Độ lệch đầu vào, điều mà quá trình giám sát liên tục sẽ phát hiện
    • Ác cảm với thuật toán, việc đào tạo nào nên khắc phục
    • Sự tương đương đáng kể mà FDA xử lý
    • Sự thay đổi tỷ lệ, không cần hành động