คู่มือพื้นฐาน

ความแม่นยำและการจดจำ

ความแม่นยำและการเรียกคืนเป็นตัวชี้วัดเสริมสองประการสำหรับการประเมินตัวแยกประเภท โดยเฉพาะอย่างยิ่งเมื่อคลาสไม่สมดุล

ภาพรวม

ความแม่นยำและการเรียกคืนเป็นตัวชี้วัดเสริมสองประการสำหรับการประเมินตัวแยกประเภท โดยเฉพาะอย่างยิ่งเมื่อคลาสไม่สมดุล พวกเขาร่วมกันเผยให้เห็นถึงความแม่นยำที่ซ่อนอยู่ - การคาดการณ์เชิงบวกของแบบจำลองนั้นถูกต้องบ่อยแค่ไหน และแบบจำลองนั้นสามารถตรวจพบผลบวกจริงได้กี่ครั้ง

ความแม่นยำและการเรียกคืนอยู่ในชุดเครื่องมือ AI หลัก เมื่อคุณเข้าใจ หัวข้อ AI อื่นๆ จะประเมินและเปรียบเทียบได้ง่ายขึ้น

เจาะลึก

เมื่อโมเดลแฟล็กรายการเป็นค่าบวก คำถามสองข้อก็มีความสำคัญ พรีซิชั่นถามว่า: ทุกสิ่งที่เราตั้งค่าสถานะไว้ มีมากน้อยเพียงใดที่เป็นบวกอย่างแท้จริง ซึ่งเท่ากับผลบวกที่แท้จริงหารด้วยผลบวกที่คาดการณ์ไว้ทั้งหมด ซึ่งจะลงโทษการแจ้งเตือนที่ผิดพลาด Recall (ความไว) ถามว่า: จากผลบวกที่แท้จริงทั้งหมด เราจับได้กี่ผล? มันเท่ากับผลบวกจริงหารด้วยผลบวกจริงทั้งหมด ถือเป็นการลงโทษพลาด สิ่งเหล่านี้มักจะต้องแลกมาด้วย: การลดเกณฑ์การตัดสินใจจะทำให้เกิดผลบวกมากขึ้น (การเรียกคืนที่สูงขึ้น) แต่จะส่งสัญญาณขยะมากขึ้น (ความแม่นยำต่ำกว่า) และในทางกลับกัน การจัดลำดับความสำคัญขึ้นอยู่กับต้นทุน — ตัวกรองสแปมให้ความสำคัญกับความแม่นยำ (อย่าทิ้งเมลจริง) ในขณะที่ตัวกรองมะเร็งช่วยให้เรียกคืนได้ (อย่าพลาดเนื้องอก) คะแนน F1 ซึ่งเป็นค่าเฉลี่ยฮาร์มอนิกจะสมดุลทั้งสองค่าให้เป็นตัวเลขเดียว

ข้อมูลเชิงลึกทางเทคนิค

ตัวชี้วัดทั้งสองมาจากผลบวกจริง (TP), ผลบวกลวง (FP) และผลลบลวง (FN) ของเมทริกซ์ความสับสน: ความแม่นยำ = TP / (TP + FP), การเรียกคืน = TP / (TP + FN) โดยเฉพาะอย่างยิ่ง ทั้งสองไม่ใช้คำเชิงลบที่แท้จริง ซึ่งเป็นเหตุผลว่าทำไมพวกเขาจึงยังคงให้ข้อมูลเมื่อเชิงลบมีจำนวนมากกว่าเชิงบวกอย่างมาก การกวาดเกณฑ์การจำแนกประเภทจะติดตามเส้นโค้งการเรียกคืนที่แม่นยำ พื้นที่ข้างใต้ (ความแม่นยำโดยเฉลี่ย) สรุปประสิทธิภาพและเป็นที่ต้องการมากกว่า ROC-AUC สำหรับข้อมูลที่ไม่สมดุลสูง

การเรียนรู้ความแม่นยำและการจดจำ

ความแม่นยำและการเรียกคืนเป็นตัวชี้วัดเสริมสองประการสำหรับการประเมินตัวแยกประเภท โดยเฉพาะอย่างยิ่งเมื่อคลาสไม่สมดุล พวกเขาร่วมกันเผยให้เห็นถึงความแม่นยำที่ซ่อนอยู่ - การคาดการณ์เชิงบวกของแบบจำลองนั้นถูกต้องบ่อยแค่ไหน และแบบจำลองนั้นสามารถตรวจพบผลบวกจริงได้กี่ครั้ง ความแม่นยำและการเรียกคืนอยู่ในชุดเครื่องมือ AI หลัก เมื่อคุณเข้าใจ หัวข้อ AI อื่นๆ จะประเมินและเปรียบเทียบได้ง่ายขึ้น เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Precision and Recall เป็นเพียงโมเดลการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ

ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Precision และ Recall จะสร้างโมเดลเชิงแนวคิดที่แข็งแกร่งก่อน จากนั้นจึงจับคู่โมเดลเหล่านั้นกับข้อจำกัดในการผลิตจริง โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน

ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้ ในเวลาเดียวกัน ทีมต่างๆ อาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง

ผลกระทบเชิงกลยุทธ์

ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้

ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา

คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น

ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

อนาคตแห่งความแม่นยำและการจดจำ

เมื่อ AI เข้าสู่โดเมนที่มีเดิมพันสูง เช่น การวินิจฉัยทางการแพทย์ การกลั่นกรองเนื้อหา การฉ้อโกง ทีมต่างๆ รายงานความแม่นยำและการเรียกคืน (และเส้นโค้ง) มากขึ้น แทนที่จะแม่นยำเพียงอย่างเดียว และปรับแต่งเกณฑ์ให้ตรงกับต้นทุนในโลกแห่งความเป็นจริงและข้อจำกัดด้านความเป็นธรรม การตรวจสอบความแม่นยำ/การเรียกคืนต่อกลุ่มกำลังกลายเป็นมาตรฐานในการตรวจจับอัตราข้อผิดพลาดที่แตกต่างกันในกลุ่มประชากร คาดหวังว่าจะมีตัววัดที่คำนึงถึงต้นทุนมากขึ้น ความน่าจะเป็นที่ปรับเทียบแล้ว และเครื่องมือที่ช่วยให้ผู้มีส่วนได้ส่วนเสียเลือกจุดปฏิบัติงานแบบโต้ตอบได้ แทนที่จะยอมรับเกณฑ์เริ่มต้นที่ 0.5

การใช้งานจริงในโลกแห่งความเป็นจริง

ตัวกรองสแปมปรับแต่งให้มีความแม่นยำสูง ดังนั้นอีเมลที่ถูกต้องจึงแทบจะไม่ถูกส่งไปยังโฟลเดอร์สแปมเลย

การตรวจคัดกรองทางการแพทย์ให้ความสำคัญกับการเรียกคืนสูง เพื่อหลีกเลี่ยงผู้ป่วยหายที่เป็นโรคจริง และยอมรับผลบวกลวงมากขึ้นสำหรับการติดตามผล

ระบบการค้นหาและการแนะนำรายงาน precision@k (จำนวนผลลัพธ์ k อันดับแรกที่เกี่ยวข้อง) เพื่อวัดคุณภาพการจัดอันดับ

การตรวจจับการฉ้อโกงสร้างความสมดุลระหว่างความแม่นยำและการเรียกคืนผ่านคะแนน F1 เนื่องจากทั้งการแจ้งเตือนที่ผิดพลาดและการฉ้อโกงที่ไม่ได้รับนั้นมีค่าใช้จ่ายสูง

รูปแบบการดำเนินงาน

ความแม่นยำและการจดจำในทางปฏิบัติ

ตัวกรองสแปมปรับแต่งให้มีความแม่นยำสูง ดังนั้นอีเมลที่ถูกต้องจึงแทบจะไม่ถูกส่งไปยังโฟลเดอร์สแปมเลย

ตัวกรองสแปมปรับแต่งให้มีความแม่นยำสูง ดังนั้นอีเมลที่ถูกต้องจึงแทบไม่เคยถูกส่งไปยังโฟลเดอร์สแปมอย่างผิดพลาด ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความแม่นยำและการจดจำในทางปฏิบัติ

การตรวจคัดกรองทางการแพทย์ให้ความสำคัญกับการเรียกคืนสูง เพื่อหลีกเลี่ยงผู้ป่วยหายที่เป็นโรคจริง และยอมรับผลบวกลวงมากขึ้นสำหรับการติดตามผล

การทดสอบคัดกรองทางการแพทย์จัดลำดับความสำคัญในการเรียกคืนสูง เพื่อหลีกเลี่ยงผู้ป่วยหายที่เป็นโรคจริง การยอมรับผลบวกลวงมากขึ้นสำหรับทีมติดตามผลมักจะได้รับผลลัพธ์ที่ดีกว่า เมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความแม่นยำและการจดจำในทางปฏิบัติ

ระบบการค้นหาและการแนะนำรายงาน precision@k (จำนวนผลลัพธ์ k อันดับแรกที่เกี่ยวข้อง) เพื่อวัดคุณภาพการจัดอันดับ

ระบบการค้นหาและการแนะนำรายงาน precision@k (จำนวนผลลัพธ์ k อันดับแรกที่เกี่ยวข้องกัน) เพื่อวัดคุณภาพการจัดอันดับ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความแม่นยำและการจดจำในทางปฏิบัติ

การตรวจจับการฉ้อโกงสร้างความสมดุลระหว่างความแม่นยำและการเรียกคืนผ่านคะแนน F1 เนื่องจากทั้งการแจ้งเตือนที่ผิดพลาดและการฉ้อโกงที่ไม่ได้รับนั้นมีค่าใช้จ่ายสูง

การตรวจจับการฉ้อโกงสร้างความสมดุลระหว่างความแม่นยำและการเรียกคืนด้วยคะแนน F1 เนื่องจากทั้งการแจ้งเตือนที่ผิดพลาดและการฉ้อโกงที่ไม่ได้รับนั้นมีค่าใช้จ่ายสูง ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความเสี่ยงและรั้ว

!

แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ

!

เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน

!

การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง

แผนงานการดำเนินงาน

1

เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ

เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

2

เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ

เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

3

ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม

ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

4

เอกสารที่ความแม่นยำและการเรียกคืนช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า

เอกสารที่ความแม่นยำและการเรียกคืนช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

สำรวจต่อไป