คู่มือทางเทคนิค

ความแม่นยำเฉลี่ยและ PR-AUC

ความแม่นยำโดยเฉลี่ยจะสรุปความแม่นยำของแบบจำลองเมื่อการเรียกคืนเพิ่มขึ้นตามเกณฑ์การตัดสินใจ

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 3 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของความแม่นยำโดยเฉลี่ยและ PR-AUC
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

เส้นโค้งการเรียกคืนที่แม่นยำมีประโยชน์เมื่อกรณีที่เป็นบวกเกิดขึ้นไม่บ่อยนัก แต่ความแม่นยำโดยเฉลี่ยและพื้นที่สี่เหลี่ยมคางหมูใต้เส้นโค้งนั้นเป็นการคำนวณที่แตกต่างกันซึ่งควรตั้งชื่อให้ชัดเจน

เจาะลึก

พรีซิชั่นถามว่ามีเคสที่เลือกกี่เคสที่เป็นค่าบวก Recall ถามว่าได้รับเลือกกรณีที่เป็นบวกทั้งหมดกี่กรณี เมื่อเกณฑ์คะแนนของแบบจำลองลดลง จึงมีกรณีและปัญหาเพิ่มเติมเข้าสู่ชุดที่เลือก การเรียกคืนไม่สามารถลดลงได้เมื่อเกณฑ์ลดลง แต่ความแม่นยำสามารถเพิ่มขึ้นหรือลดลงได้ ขึ้นอยู่กับกรณีและปัญหาที่รวมไว้ใหม่ เส้นโค้งการเรียกคืนที่แม่นยำจะติดตามข้อดีนี้ นี่เป็นข้อมูลโดยเฉพาะอย่างยิ่งสำหรับคลาสเชิงบวกที่หายาก เนื่องจากจะเปิดเผยโดยตรงว่ารายการที่เลือกมีกี่รายการที่เป็นสัญญาณเตือนที่ผิดพลาด เส้นโค้งลักษณะการทำงานของตัวรับจะตอบคำถามอื่นโดยใช้อัตราบวกลวง ซึ่งตัวส่วนจะรวมค่าลบตามจริงทั้งหมดด้วย ไม่มีมุมมองใดที่จะขจัดความจำเป็นในการพิจารณาต้นทุนการตัดสินใจที่แท้จริง ความแม่นยำโดยเฉลี่ยจะสรุปความสัมพันธ์ระหว่างความแม่นยำกับการเรียกคืนโดยการถ่วงน้ำหนักค่าความแม่นยำด้วยการเพิ่มขึ้นของการเรียกคืนที่สอดคล้องกัน ในการจัดอันดับแบบธรรมดาที่ไม่มีคะแนนเสมอกัน จะเท่ากับความแม่นยำโดยเฉลี่ยของอันดับที่มีกรณีเชิงบวก สมมติว่ามีเพียงสองผลบวกเท่านั้นที่ปรากฏที่หนึ่งและสาม ความเที่ยงตรงที่ตำแหน่งเหล่านั้นคือ 1 และ 2 ใน 3 ดังนั้นความแม่นยำเฉลี่ยจึงอยู่ที่ประมาณ 0.833 ป้ายกำกับ PR-AUC อาจไม่ชัดเจน รายงานบางฉบับหมายถึงการรวมความแม่นยำเข้ากับการเรียกคืนเป็นรูปสี่เหลี่ยมคางหมู บ้างก็ใช้มันอย่างหลวม ๆ เพื่อความแม่นยำโดยเฉลี่ย Scikit-learn แยกความแตกต่าง Average_precision_score จาก auc ซึ่งใช้กฎสี่เหลี่ยมคางหมู ค่าเหล่านี้อาจแตกต่างกันเนื่องจากสมมติฐานในการแก้ไขแตกต่างกัน ระบุการคำนวณจริง ความแม่นยำขึ้นอยู่กับความชุกของผลบวกในประชากรที่ประเมิน คะแนนจากตัวอย่างที่สมดุลอาจไม่สามารถอธิบายการตั้งค่าการปรับใช้ซึ่งผลบวกเกิดขึ้นได้ยาก รายงานเศษส่วนบวกและการออกแบบการประเมินผล สุดท้าย การสรุปข้ามเกณฑ์ไม่ได้เลือกเกณฑ์การปฏิบัติงาน ตรวจสอบความแม่นยำ การเรียกคืน และปริมาณงาน ณ จุดที่จะใช้แบบจำลองจริง

การใช้งานจริงในโลกแห่งความเป็นจริง

คิวการตรวจสอบประกอบด้วยรายการธรรมดาหลายรายการและรายการที่เกี่ยวข้องสองสามรายการ เส้นโค้งการเรียกคืนที่แม่นยำแสดงให้เห็นถึงข้อดีระหว่างการค้นหารายการที่เกี่ยวข้องมากขึ้นกับการขอให้ผู้ตรวจสอบตรวจสอบรายการที่ไม่เกี่ยวข้องมากขึ้น

ในการจัดอันดับสมมุติฐานโดยไม่มีคะแนนเท่ากัน กรณีเชิงบวกสองกรณีจะปรากฏที่หนึ่งและสาม ความแม่นยำที่ตำแหน่งเหล่านั้นคือ 1 และสองในสาม ดังนั้นความแม่นยำเฉลี่ยจึงอยู่ที่ประมาณ 0.833

ทีมงานใช้ Average_precision_score ของ scikit-Learn บนป้ายกำกับและคะแนนการทำนาย โดยจะบันทึกชั้นเรียนที่นับว่าเป็นบวก และหลีกเลี่ยงการแทนที่คะแนนด้วยการตัดสินใจที่ยากลำบากก่อนการประเมินผล

ชุดข้อมูลการประเมินสองชุดมีสัดส่วนกรณีที่เป็นบวกต่างกัน นักวิเคราะห์รายงานสัดส่วนเหล่านั้นก่อนเปรียบเทียบผลลัพธ์การเรียกคืนความแม่นยำ เนื่องจากความแพร่หลายเปลี่ยนแปลงวิธีการตีความความแม่นยำ

อนาคตของความแม่นยำโดยเฉลี่ยและ PR-AUC

แดชบอร์ดการประเมินผลสามารถทำให้การวัดการจัดอันดับมีความชัดเจนมากขึ้นโดยแสดงความชุกเชิงบวก การคำนวณพื้นที่ที่แน่นอน และจุดปฏิบัติงานเชิงปฏิบัติถัดจากคะแนนสรุป ทีมตรวจสอบอาจสนใจมากที่สุดเกี่ยวกับจำนวนกรณีที่เป็นประโยชน์ที่ปรากฏภายในความจุรายวันคงที่ ในขณะที่ทีมอื่นอาจต้องการการเรียกคืนขั้นต่ำ การรักษาการคาดการณ์และป้ายกำกับช่วยให้สามารถทบทวนคำถามเหล่านั้นได้โดยไม่ต้องเปลี่ยนแบบจำลอง เมื่อจำนวนประชากรเปลี่ยนไป ทีมควรประเมินข้อดีข้อเสียของข้อมูลตัวแทนอีกครั้ง แทนที่จะถือว่าผลลัพธ์ที่มีความแม่นยำโดยเฉลี่ยก่อนหน้านี้รับประกันปริมาณงานหรือประโยชน์ในอนาคตที่เหมือนกัน

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Average Precision and PR-AUC quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

ความแม่นยำเฉลี่ยและ PR-AUC คืออะไร

ความแม่นยำโดยเฉลี่ยจะสรุปความแม่นยำของแบบจำลองเมื่อการเรียกคืนเพิ่มขึ้นตามเกณฑ์การตัดสินใจ เส้นโค้งการเรียกคืนที่แม่นยำมีประโยชน์เมื่อกรณีที่เป็นบวกเกิดขึ้นไม่บ่อยนัก แต่ความแม่นยำโดยเฉลี่ยและพื้นที่สี่เหลี่ยมคางหมูใต้เส้นโค้งนั้นเป็นการคำนวณที่แตกต่างกันซึ่งควรตั้งชื่อให้ชัดเจน

ปริมาณใดที่วัดได้อย่างแม่นยำสำหรับคิวการตรวจสอบที่เลือก

ความแม่นยำ วัดความบริสุทธิ์ของชุดที่เลือก การเรียกคืนจะวัดส่วนแบ่งของผลบวกทั้งหมดที่พบ

ในการจัดอันดับที่ไม่มีคะแนนเสมอกัน สิ่งที่เป็นบวกเพียงอย่างเดียวคือที่หนึ่งและสาม ความแม่นยำเฉลี่ยใดที่ตามมา?

ความแม่นยำอยู่ที่หนึ่งที่ค่าบวกแรก และสองในสามที่วินาที ค่าเฉลี่ยของพวกเขาคือห้าในหก หรือประมาณ 0.833

เหตุใด PR-AUC สี่เหลี่ยมคางหมูจึงแตกต่างจากความแม่นยำโดยเฉลี่ย

ความแม่นยำโดยเฉลี่ยจะชั่งน้ำหนักอย่างแม่นยำด้วยการเพิ่มการเรียกคืน ในขณะที่การรวมรูปสี่เหลี่ยมคางหมูจะเชื่อมต่อจุดโค้งโดยใช้โครงสร้างพื้นที่อื่น

อินพุตใดจะรักษาข้อมูลการจัดอันดับที่จำเป็นสำหรับความแม่นยำโดยเฉลี่ย

คะแนนช่วยให้สามารถประเมินผลข้ามเกณฑ์ได้ การตัดสินใจที่ยากลำบากจะเก็บจุดปฏิบัติการเพียงจุดเดียวและละทิ้งข้อมูลการจัดอันดับส่วนใหญ่

ชุดข้อมูลสองชุดมีความแพร่หลายในระดับบวกที่แตกต่างกันมาก สิ่งที่ควรมาพร้อมกับการเปรียบเทียบคะแนนการเรียกคืนที่แม่นยำ

ความแม่นยำขึ้นอยู่กับความชุกของชั้นเรียน ดังนั้นประชากรและแผนการสุ่มตัวอย่างจึงเป็นบริบทที่จำเป็น

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →