คู่มืออุตสาหกรรม

การประเมินเครื่องมือ AI ทางการแพทย์ในฐานะแพทย์

ในการประเมินเครื่องมือ AI ทางการแพทย์ คุณต้องตรวจสอบก่อนและหลังการเปิดตัวว่าเครื่องมือทำงานอย่างถูกต้องและยุติธรรมกับผู้ป่วยของคุณเองและในขั้นตอนการทำงานของคุณเองหรือไม่

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 4 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการประเมินเครื่องมือ AI ทางการแพทย์ในฐานะแพทย์
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

คุณยังยืนยันสถานะการกำกับดูแลและมีคนติดตามอยู่ สิ่งนี้สำคัญเนื่องจากตัวเลขความแม่นยำของผู้ขายมาจากข้อมูลของบุคคลอื่น แพทย์ที่ถามคำถามที่ชัดเจนเกี่ยวกับการตรวจสอบความถูกต้อง อคติ และการกำกับดูแลจะปกป้องผู้ป่วยจากเครื่องมือที่ดูดีบนกระดาษแต่ล้มเหลวในท้องถิ่น

เจาะลึก

การอ้างสิทธิ์ของผู้ขายส่วนใหญ่ขึ้นอยู่กับเมตริกพาดหัวเดียว ซึ่งมักจะเป็นพื้นที่ใต้กราฟ ROC (AUC) ซึ่งวัดจากชุดข้อมูลที่ผู้ขายเลือก ตัวเลขนั้นตอบคำถามแคบๆ ว่าโมเดลจัดอันดับกรณีต่างๆ ในชุดข้อมูลนั้นได้ดีเพียงใด มันไม่ได้บอกว่าเครื่องมือจะทำงานอย่างไรกับกลุ่มผู้ป่วยของคุณ พฤติกรรมด้านเอกสารของคุณ เครื่องสแกนของคุณ หรือเกณฑ์การแจ้งเตือนที่คุณจะใช้จริง ช่องว่างอาจมีขนาดใหญ่ การตรวจสอบแบบจำลองการทำนายภาวะติดเชื้อที่เป็นกรรมสิทธิ์จากภายนอกซึ่งมีการอ้างถึงอย่างกว้างขวางในปี 2021 ซึ่งตีพิมพ์ใน JAMA Internal Medicine พบว่ามีการเลือกปฏิบัติที่อ่อนแอกว่าที่นักพัฒนารายงานไว้มาก แบบจำลองนี้พลาดกรณีการติดเชื้อจำนวนมากในขณะที่ยังคงแจ้งเตือนอยู่บ่อยครั้ง การประเมินที่เป็นประโยชน์ครอบคลุมห้าด้าน ข้อมูลการตรวจสอบ ข้อมูลการฝึกอบรมและการทดสอบมาจากไหน? สถานที่ทดสอบแยกจากสถานที่ฝึกอบรมหรือไม่? การศึกษาเป็นแบบย้อนหลังหรือในอนาคต?; การแสดงท้องถิ่น คุณสามารถรันโมเดลแบบเงียบๆ ด้วยข้อมูลของคุณเองและวัดความไว ค่าคาดการณ์เชิงบวก และการสอบเทียบตามเกณฑ์ที่คุณต้องการได้หรือไม่ อคติ. มีการรายงานผลลัพธ์ตามอายุ เพศ เชื้อชาติและชาติพันธุ์ ภาษา การประกันภัย และประเภทอุปกรณ์หรือไม่ กลุ่มผู้ด้อยโอกาสได้รับการจัดการอย่างไร; สถานะการกำกับดูแล ผลิตภัณฑ์ผ่านการรับรองจาก FDA หรือได้รับการอนุมัติหรือไม่ และเพื่อข้อบ่งชี้ใด หรือผู้ขายบอกว่าเป็นการสนับสนุนการตัดสินใจทางคลินิกที่ไม่ใช่อุปกรณ์?; และการติดตามผล ใครบ้างที่ดูการแสดงหลังจากการถ่ายทอดสด? จะตรวจจับการดริฟท์ได้อย่างไร? จะเกิดอะไรขึ้นเมื่อผู้จำหน่ายอัพเดตโมเดล?. ความเข้าใจผิดที่พบบ่อยคือการรับรองจาก FDA พิสูจน์ว่าเครื่องมือช่วยปรับปรุงผลลัพธ์ได้ อุปกรณ์ AI ส่วนใหญ่เข้าถึงตลาดผ่านเส้นทาง 510(k) ซึ่งจำเป็นต้องแสดงความเท่าเทียมกันอย่างมากกับอุปกรณ์ที่มีอยู่ การส่งจำนวนมากเหล่านี้มีหลักฐานที่มีแนวโน้มว่าจะเป็นไปได้หรือหลายไซต์เพียงเล็กน้อย ความเข้าใจผิดอีกประการหนึ่งคือ AUC ที่สูงรับประกันความมีประโยชน์ สำหรับสภาพที่หายาก แม้แต่แบบจำลองที่แม่นยำก็สามารถสร้างสัญญาณเตือนที่ผิดพลาดเป็นส่วนใหญ่ได้ ความแม่นยำในการเคลียร์และเผยแพร่เป็นจุดที่การประเมินเริ่มต้น ไม่ใช่จุดสิ้นสุด

การใช้งานจริงในโลกแห่งความเป็นจริง

โรงพยาบาลที่กำลังพิจารณาการแจ้งเตือนภาวะติดเชื้อจะขอให้ผู้จำหน่ายทราบผลการตรวจสอบจากภายนอก ก่อนที่การแจ้งเตือนใดๆ จะไปถึงแพทย์ แบบจำลองจะเรียกใช้แบบจำลองโดยไม่ต้องแจ้งให้ทราบเกี่ยวกับเหตุการณ์ที่เกิดขึ้นในอดีตหลายเดือน และเปรียบเทียบธงกับกรณีการติดเชื้อในกระแสเลือดที่ได้รับการยืนยันจากแผนภูมิ

กลุ่มแพทย์ผิวหนังที่ตรวจสอบตัวแยกประเภทรอยโรคที่ผิวหนังจะถามถึงประสิทธิภาพโดยแยกตามประเภทผิว โดยจะเรียนรู้ว่าโทนสีผิวที่เข้มกว่านั้นเป็นเพียงส่วนเล็กๆ ของรูปภาพการฝึก ดังนั้นจึงจำกัดบริเวณที่ใช้เครื่องมือและขอหลักฐานเพิ่มเติมจากผู้จำหน่าย

แผนกรังสีวิทยาจะตรวจสอบบันทึกอุปกรณ์สาธารณะของ FDA เพื่อยืนยันว่าเครื่องมือเอกซเรย์คัดแยกทรวงอกได้รับการล้างแล้ว เพื่อดูสิ่งบ่งชี้และประเภทภาพที่แน่ชัดที่จะใช้ ไม่ใช่แค่เครื่องมือที่แคบลงเท่านั้น

หลังจากปรับใช้ผู้จดเอกสารโดยรอบ คลินิกจะตรวจสอบตัวอย่างบันทึกในแต่ละเดือน โดยจะติดตามประเภทข้อผิดพลาด เช่น ผลการตรวจที่ประดิษฐ์ขึ้นหรือขนาดยาที่ไม่ถูกต้อง และเจ้าของที่ระบุชื่อจะแจ้งปัญหาไปยังผู้ขาย

อนาคตของการประเมินเครื่องมือ AI ทางการแพทย์ในฐานะแพทย์

คาดหวังความโปร่งใสที่มีโครงสร้างมากขึ้น ในสหรัฐอเมริกา กฎการรับรองของรัฐบาลกลางสำหรับไอทีด้านสุขภาพ จำเป็นต้องมีเครื่องมือสนับสนุนการตัดสินใจบางอย่างใน EHR ที่ได้รับการรับรอง เพื่อเปิดเผยวิธีการพัฒนาและตรวจสอบความถูกต้อง กลุ่มอุตสาหกรรมยังได้เสนอการ์ดแบบจำลองมาตรฐานอีกด้วย FDA ได้ออกคำแนะนำเกี่ยวกับแผนควบคุมการเปลี่ยนแปลงที่กำหนดไว้ล่วงหน้า ซึ่งช่วยให้ผู้ผลิตอธิบายการอัปเดตแบบจำลองที่วางแผนไว้ล่วงหน้าได้ สิ่งเหล่านี้ไม่สามารถแทนที่การประเมินในท้องถิ่นได้ ระบบสุขภาพขนาดใหญ่กำลังสร้างคณะกรรมการกำกับดูแล AI ภายในและโครงสร้างพื้นฐานในการติดตาม แต่แนวทางปฏิบัติเล็กๆ น้อยๆ จำนวนมากขาดเจ้าหน้าที่ที่จะทำเช่นเดียวกัน ทรัพยากรการประเมินที่ใช้ร่วมกันและภาระผูกพันของผู้ขายที่ชัดเจนยิ่งขึ้นยังคงเป็นปัญหาที่เปิดกว้าง

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • บริบทและกฎ. บริบททางอุตสาหกรรมเป็นตัวกำหนดว่าแนวคิด AI จะรอดจากการสัมผัสกับความเป็นจริงหรือไม่
  • การควบคุมคุณภาพ. ข้อจำกัดของโดเมนมีอิทธิพลต่ออัตราข้อผิดพลาดที่ยอมรับได้และแบบจำลองการควบคุมดูแล
  • สร้างทางเลือก. การปรับใช้ที่ประสบความสำเร็จจะปรับความสามารถทางเทคนิคให้สอดคล้องกับเวิร์กโฟลว์แนวหน้า

ระวัง

  • ข้อกำหนดด้านกฎระเบียบอาจทำให้ต้นแบบที่แข็งแกร่งเป็นโมฆะได้
  • ข้อมูลในอดีตอาจเข้ารหัสอคติที่เป็นอันตรายต่อชุมชนบางแห่ง
  • ระบบเดิมสามารถสร้างปัญหาคอขวดในการบูรณาการและต้นทุนแอบแฝงได้

ขั้นตอนต่อไป

  1. ให้ผู้เชี่ยวชาญโดเมนมีส่วนร่วมตั้งแต่การกำหนดกรอบปัญหาไปจนถึงการประเมิน
  2. ออกแบบเส้นทางการตรวจสอบและเอกสารประกอบก่อนการเปิดตัว
  3. ตรวจสอบการปฏิบัติตามข้อกำหนดและภาระผูกพันด้านความปลอดภัยตั้งแต่เนิ่นๆ
  4. เปิดตัวเป็นระยะโดยมีเกณฑ์การหยุดและย้อนกลับที่ชัดเจน

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Evaluating Medical AI Tools as a Clinician quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การประเมินเครื่องมือ AI ทางการแพทย์ในฐานะแพทย์คืออะไร

ในการประเมินเครื่องมือ AI ทางการแพทย์ คุณต้องตรวจสอบก่อนและหลังการเปิดตัวว่าเครื่องมือทำงานอย่างถูกต้องและยุติธรรมกับผู้ป่วยของคุณเองและในขั้นตอนการทำงานของคุณเองหรือไม่ คุณยังยืนยันสถานะการกำกับดูแลและมีคนติดตามอยู่ สิ่งนี้สำคัญเนื่องจากตัวเลขความแม่นยำของผู้ขายมาจากข้อมูลของบุคคลอื่น แพทย์ที่ถามคำถามที่ชัดเจนเกี่ยวกับการตรวจสอบความถูกต้อง อคติ และการกำกับดูแลจะปกป้องผู้ป่วยจากเครื่องมือที่ดูดีบนกระดาษแต่ล้มเหลวในท้องถิ่น

ผู้จัดจำหน่ายรายงาน AUC ที่ 0.85 สำหรับแบบจำลองการเสื่อมสภาพ คู่มือบอกว่าตัวเลขนี้ไม่สามารถบอกโรงพยาบาลได้?

AUC วัดการจัดอันดับในชุดข้อมูลที่ผู้ขายเลือก โดยไม่ได้เปิดเผยประสิทธิภาพกับกลุ่มผู้ป่วยที่แตกต่างกัน พฤติกรรมการจัดทำเอกสารที่แตกต่างกัน หรือเกณฑ์เฉพาะที่โรงพยาบาลจะใช้

การตรวจสอบภายนอกในปี 2021 ของแบบจำลองภาวะติดเชื้อที่เป็นกรรมสิทธิ์ ซึ่งตีพิมพ์ใน JAMA Internal Medicine พบอะไรบ้าง

การศึกษาพบว่าผลการปฏิบัติงานของระบบสุขภาพภายนอกนั้นแย่กว่าที่กล่าวอ้างไว้มาก แบบจำลองนี้พลาดกรณีการติดเชื้อจำนวนมากในขณะที่สร้างการแจ้งเตือนจำนวนมาก ซึ่งแสดงให้เห็นว่าเหตุใดการตรวจสอบในพื้นที่จึงมีความสำคัญ

มีการตรวจสอบแบบจำลองเมื่อมีภาวะหนึ่งเกิดขึ้นกับผู้ป่วยร้อยละ 10 เหตุใดจึงอาจสร้างการแจ้งเตือนที่ผิดพลาดมากขึ้นในหน่วยที่มีเพียง 2 เปอร์เซ็นต์เท่านั้นที่มีอาการ?

PPV คือเศษส่วนของการแจ้งเตือนเชิงบวกที่เป็นจริง เมื่อเงื่อนไขเกิดขึ้นไม่บ่อยนัก แบบจำลองเดียวกันจะทำให้เกิดผลบวกลวงมากกว่าเมื่อเปรียบเทียบกับเงื่อนไขจริง

ตามคำแนะนำ อุปกรณ์การแพทย์ AI ส่วนใหญ่ใช้เส้นทางใดในการเข้าถึงตลาดสหรัฐอเมริกา

อุปกรณ์ AI ส่วนใหญ่ได้รับการเคลียร์ผ่าน 510(k) ซึ่งจำเป็นต้องแสดงความเท่าเทียมกันอย่างมาก แทนที่จะพิสูจน์ผลลัพธ์ที่ดีขึ้น นั่นคือเหตุผลว่าทำไมการกวาดล้างเพียงอย่างเดียวจึงไม่สามารถพิสูจน์ได้ว่าเครื่องมือนั้นใช้งานได้จริง

การใช้งานโมเดล AI ทางคลินิกแบบเงียบหรือแบบเงาคืออะไร

ในการปรับใช้แบบเงียบ โมเดลจะทำงานบนข้อมูลท้องถิ่นจริง ในขณะที่แพทย์ไม่เคยเห็นผลลัพธ์ ซึ่งช่วยให้โรงพยาบาลสามารถวัดความไว, PPV และการสอบเทียบได้อย่างปลอดภัยก่อนเริ่มใช้งาน

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →