ความแม่นยำเฉลี่ยและ PR-AUC

พรีซิชั่นถามว่ามีเคสที่เลือกกี่เคสที่เป็นค่าบวก Recall ถามว่าได้รับเลือกกรณีที่เป็นบวกทั้งหมดกี่กรณี เมื่อเกณฑ์คะแนนของแบบจำลองลดลง จึงมีกรณีและปัญหาเพิ่มเติมเข้าสู่ชุดที่เลือก การเรียกคืนไม่สามารถลดลงได้เมื่อเกณฑ์ลดลง แต่ความแม่นยำสามารถเพิ่มขึ้นหรือลดลงได้ ขึ้นอยู่กับกรณีและปัญหาที่รวมไว้ใหม่ เส้นโค้งการเรียกคืนที่แม่นยำจะติดตามข้อดีนี้ นี่เป็นข้อมูลโดยเฉพาะอย่างยิ่งสำหรับคลาสเชิงบวกที่หายาก เนื่องจากจะเปิดเผยโดยตรงว่ารายการที่เลือกมีกี่รายการที่เป็นสัญญาณเตือนที่ผิดพลาด เส้นโค้งลักษณะการทำงานของตัวรับจะตอบคำถามอื่นโดยใช้อัตราบวกลวง ซึ่งตัวส่วนจะรวมค่าลบตามจริงทั้งหมดด้วย ไม่มีมุมมองใดที่จะขจัดความจำเป็นในการพิจารณาต้นทุนการตัดสินใจที่แท้จริง ความแม่นยำโดยเฉลี่ยจะสรุปความสัมพันธ์ระหว่างความแม่นยำกับการเรียกคืนโดยการถ่วงน้ำหนักค่าความแม่นยำด้วยการเพิ่มขึ้นของการเรียกคืนที่สอดคล้องกัน ในการจัดอันดับแบบธรรมดาที่ไม่มีคะแนนเสมอกัน จะเท่ากับความแม่นยำโดยเฉลี่ยของอันดับที่มีกรณีเชิงบวก สมมติว่ามีเพียงสองผลบวกเท่านั้นที่ปรากฏที่หนึ่งและสาม ความเที่ยงตรงที่ตำแหน่งเหล่านั้นคือ 1 และ 2 ใน 3 ดังนั้นความแม่นยำเฉลี่ยจึงอยู่ที่ประมาณ 0.833 ป้ายกำกับ PR-AUC อาจไม่ชัดเจน รายงานบางฉบับหมายถึงการรวมความแม่นยำเข้ากับการเรียกคืนเป็นรูปสี่เหลี่ยมคางหมู บ้างก็ใช้มันอย่างหลวม ๆ เพื่อความแม่นยำโดยเฉลี่ย Scikit-learn แยกความแตกต่าง Average_precision_score จาก auc ซึ่งใช้กฎสี่เหลี่ยมคางหมู ค่าเหล่านี้อาจแตกต่างกันเนื่องจากสมมติฐานในการแก้ไขแตกต่างกัน ระบุการคำนวณจริง ความแม่นยำขึ้นอยู่กับความชุกของผลบวกในประชากรที่ประเมิน คะแนนจากตัวอย่างที่สมดุลอาจไม่สามารถอธิบายการตั้งค่าการปรับใช้ซึ่งผลบวกเกิดขึ้นได้ยาก รายงานเศษส่วนบวกและการออกแบบการประเมินผล สุดท้าย การสรุปข้ามเกณฑ์ไม่ได้เลือกเกณฑ์การปฏิบัติงาน ตรวจสอบความแม่นยำ การเรียกคืน และปริมาณงาน ณ จุดที่จะใช้แบบจำลองจริง