คู่มือพื้นฐาน
เมทริกซ์ความสับสน
เมทริกซ์ความสับสนเป็นตารางง่ายๆ ที่แบ่งการทำนายของตัวแยกประเภทออกเป็นจำนวนที่ถูกต้องและไม่ถูกต้องสำหรับแต่ละคลาส
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
It is the raw scoreboard from which nearly every other classification metric is calculated.
เจาะลึก
เมทริกซ์ความสับสนคือตารางเปรียบเทียบป้ายกำกับที่คาดการณ์กับป้ายกำกับจริง สำหรับการจำแนกประเภทไบนารี่ จะมีสี่เซลล์ ได้แก่ True Positive (ผลบวกที่คาดการณ์ไว้อย่างถูกต้อง), True Negatives (ผลลบที่คาดการณ์อย่างถูกต้อง), ผลบวกลวง (ค่าลบติดธงเชิงบวกอย่างไม่ถูกต้อง, 'ข้อผิดพลาดประเภท I') และค่าลบเท็จ (ผลบวกที่พลาดไป, 'ข้อผิดพลาดประเภท II') จากตัวเลขสี่ตัวนี้ คุณจะได้ค่าความแม่นยำ ((TP+TN)/ทั้งหมด) ความแม่นยำ (TP/(TP+FP)) การเรียกคืนหรือความไว (TP/(TP+FN)) ความเฉพาะเจาะจง (TN/(TN+FP)) และคะแนน F1 (ค่าเฉลี่ยฮาร์มอนิกของความแม่นยำและการเรียกคืน) สำหรับปัญหาที่มีมากกว่าสองคลาส เมทริกซ์จะกลายเป็น N-by-N โดยที่เส้นทแยงมุมมีการคาดการณ์ที่ถูกต้อง และเซลล์ที่อยู่นอกแนวทแยงจะเผยให้เห็นอย่างชัดเจนว่าคลาสใดสับสนกับคลาสอื่น
การใช้งานจริงในโลกแห่งความเป็นจริง
การวินิจฉัยว่าตัวแยกประเภทรูปภาพล้มเหลวโดยเห็นว่าบ่อยครั้งที่ฮัสกี้สับสนกับหมาป่าในเซลล์นอกแนวทแยง
การตรวจสอบเครื่องมือคัดกรองทางการแพทย์โดยการตรวจผลลบลวง — ผู้ป่วยที่เป็นโรคตามแบบจำลองที่ประกาศว่ามีสุขภาพดี
การเปรียบเทียบตัวกรองสแปมอีเมลสองตัวที่มีความแม่นยำเท่ากัน แต่ต่างกันตรงจำนวนอีเมลจริงที่บล็อกไม่ถูกต้อง (ผลบวกลวง)
การประเมินตัวจดจำตัวเลขที่เขียนด้วยลายมือแบบหลายคลาส เพื่อค้นหาว่าเลข 4 และ 9 มักเข้าใจผิดกัน
อนาคตของเมทริกซ์ความสับสน
เมทริกซ์ความสับสนจะยังคงเป็นพื้นฐาน แต่เครื่องมือกำลังทำให้พวกมันสมบูรณ์ยิ่งขึ้น: แผนที่ความร้อนแบบโต้ตอบที่เป็นมาตรฐาน การแยกย่อยตามคลาสสำหรับชุดป้ายกำกับขนาดใหญ่ และเมทริกซ์ที่ถ่วงน้ำหนักด้วยต้นทุนซึ่งจะคูณข้อผิดพลาดแต่ละประเภทด้วยบทลงโทษในโลกแห่งความเป็นจริง ในการตรวจสอบความเป็นธรรม ขณะนี้ผู้ปฏิบัติงานจะคำนวณเมทริกซ์ความสับสนแยกกันตามกลุ่มย่อยทางประชากรศาสตร์ เพื่อแสดงอัตราข้อผิดพลาดที่ไม่เท่ากัน คาดว่าจะมีการบูรณาการอย่างต่อเนื่องในแดชบอร์ดโมเดล โดยที่การคลิกเซลล์จะทำให้เห็นตัวอย่างที่จัดประเภทผิดจริงสำหรับการตรวจสอบ
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
- ต้นทุนและงบประมาณ. คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
- ทีมงานและขั้นตอนการทำงาน. ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น
ระวัง
- แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
- เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
- การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง
ขั้นตอนต่อไป
- เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
- เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
- ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
- เอกสารที่เมทริกซ์ความสับสนช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Confusion Matrices quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is Confusion Matrices?
เมทริกซ์ความสับสนเป็นตารางง่ายๆ ที่แบ่งการทำนายของตัวแยกประเภทออกเป็นจำนวนที่ถูกต้องและไม่ถูกต้องสำหรับแต่ละคลาส เป็นกระดานคะแนนดิบที่ใช้คำนวณเมตริกการจำแนกประเภทอื่นๆ เกือบทุกรายการ
ในเมทริกซ์ความสับสนแบบไบนารี อะไรคือค่าลบลวง?
ผลลบลวงเป็นผลบวกจริงที่แบบจำลองพลาดไปโดยการติดป้ายกำกับว่าเป็นลบ ตัวอย่างเช่น ผู้ป่วยที่ประกาศว่ามีสุขภาพดี
ตัวชี้วัดใดวัดสัดส่วนของผลบวกจริงที่แบบจำลองระบุได้ถูกต้อง
การเรียกคืน (เรียกอีกอย่างว่าความไวหรืออัตราบวกที่แท้จริง) คือ TP / (TP + FN) - ส่วนแบ่งของผลบวกจริงที่แบบจำลองจับได้
ในเมทริกซ์ความสับสนสำหรับปัญหาที่มี 5 คลาส เซลล์แนวทแยงแสดงถึงอะไร
ในเมทริกซ์แบบ N-by-N เส้นทแยงมุมจะถือเป็นกรณีที่คลาสที่ทำนายตรงกับคลาสที่แท้จริง กล่าวคือ การทำนายที่ถูกต้อง
เหตุใดความแม่นยำเพียงอย่างเดียวจึงทำให้เข้าใจผิดได้โดยไม่มีเมทริกซ์ที่สับสน
สองรุ่นที่มีความแม่นยำเท่ากันสามารถกระจายข้อผิดพลาดได้แตกต่างกันมาก เมทริกซ์ความสับสนเผยให้เห็นว่าข้อผิดพลาดส่วนใหญ่เป็นสัญญาณเตือนที่ผิดพลาดหรือผลบวกที่พลาดไป
คะแนน F1 คือค่าเฉลี่ยฮาร์มอนิกของสองเมตริกใด
F1 ผสมผสานความแม่นยำและการเรียกคืนเป็นตัวเลขเดียวโดยใช้ค่าเฉลี่ยฮาร์มอนิก ซึ่งจะลงโทษความไม่สมดุลอย่างมากระหว่างตัวเลขทั้งสอง
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้