ต่อไปคำแนะนำต่อไป
การทดสอบ Recall, Precision และ Elusion ในการตรวจสอบเอกสาร
เทคนิค
คู่มือทางเทคนิค
ความแม่นยำโดยเฉลี่ยจะสรุปความแม่นยำของแบบจำลองเมื่อการเรียกคืนเพิ่มขึ้นตามเกณฑ์การตัดสินใจ
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
เส้นโค้งการเรียกคืนที่แม่นยำมีประโยชน์เมื่อกรณีที่เป็นบวกเกิดขึ้นไม่บ่อยนัก แต่ความแม่นยำโดยเฉลี่ยและพื้นที่สี่เหลี่ยมคางหมูใต้เส้นโค้งนั้นเป็นการคำนวณที่แตกต่างกันซึ่งควรตั้งชื่อให้ชัดเจน
พรีซิชั่นถามว่ามีเคสที่เลือกกี่เคสที่เป็นค่าบวก Recall ถามว่าได้รับเลือกกรณีที่เป็นบวกทั้งหมดกี่กรณี เมื่อเกณฑ์คะแนนของแบบจำลองลดลง จึงมีกรณีและปัญหาเพิ่มเติมเข้าสู่ชุดที่เลือก การเรียกคืนไม่สามารถลดลงได้เมื่อเกณฑ์ลดลง แต่ความแม่นยำสามารถเพิ่มขึ้นหรือลดลงได้ ขึ้นอยู่กับกรณีและปัญหาที่รวมไว้ใหม่ เส้นโค้งการเรียกคืนที่แม่นยำจะติดตามข้อดีนี้ นี่เป็นข้อมูลโดยเฉพาะอย่างยิ่งสำหรับคลาสเชิงบวกที่หายาก เนื่องจากจะเปิดเผยโดยตรงว่ารายการที่เลือกมีกี่รายการที่เป็นสัญญาณเตือนที่ผิดพลาด เส้นโค้งลักษณะการทำงานของตัวรับจะตอบคำถามอื่นโดยใช้อัตราบวกลวง ซึ่งตัวส่วนจะรวมค่าลบตามจริงทั้งหมดด้วย ไม่มีมุมมองใดที่จะขจัดความจำเป็นในการพิจารณาต้นทุนการตัดสินใจที่แท้จริง ความแม่นยำโดยเฉลี่ยจะสรุปความสัมพันธ์ระหว่างความแม่นยำกับการเรียกคืนโดยการถ่วงน้ำหนักค่าความแม่นยำด้วยการเพิ่มขึ้นของการเรียกคืนที่สอดคล้องกัน ในการจัดอันดับแบบธรรมดาที่ไม่มีคะแนนเสมอกัน จะเท่ากับความแม่นยำโดยเฉลี่ยของอันดับที่มีกรณีเชิงบวก สมมติว่ามีเพียงสองผลบวกเท่านั้นที่ปรากฏที่หนึ่งและสาม ความเที่ยงตรงที่ตำแหน่งเหล่านั้นคือ 1 และ 2 ใน 3 ดังนั้นความแม่นยำเฉลี่ยจึงอยู่ที่ประมาณ 0.833 ป้ายกำกับ PR-AUC อาจไม่ชัดเจน รายงานบางฉบับหมายถึงการรวมความแม่นยำเข้ากับการเรียกคืนเป็นรูปสี่เหลี่ยมคางหมู บ้างก็ใช้มันอย่างหลวม ๆ เพื่อความแม่นยำโดยเฉลี่ย Scikit-learn แยกความแตกต่าง Average_precision_score จาก auc ซึ่งใช้กฎสี่เหลี่ยมคางหมู ค่าเหล่านี้อาจแตกต่างกันเนื่องจากสมมติฐานในการแก้ไขแตกต่างกัน ระบุการคำนวณจริง ความแม่นยำขึ้นอยู่กับความชุกของผลบวกในประชากรที่ประเมิน คะแนนจากตัวอย่างที่สมดุลอาจไม่สามารถอธิบายการตั้งค่าการปรับใช้ซึ่งผลบวกเกิดขึ้นได้ยาก รายงานเศษส่วนบวกและการออกแบบการประเมินผล สุดท้าย การสรุปข้ามเกณฑ์ไม่ได้เลือกเกณฑ์การปฏิบัติงาน ตรวจสอบความแม่นยำ การเรียกคืน และปริมาณงาน ณ จุดที่จะใช้แบบจำลองจริง
คิวการตรวจสอบประกอบด้วยรายการธรรมดาหลายรายการและรายการที่เกี่ยวข้องสองสามรายการ เส้นโค้งการเรียกคืนที่แม่นยำแสดงให้เห็นถึงข้อดีระหว่างการค้นหารายการที่เกี่ยวข้องมากขึ้นกับการขอให้ผู้ตรวจสอบตรวจสอบรายการที่ไม่เกี่ยวข้องมากขึ้น
ในการจัดอันดับสมมุติฐานโดยไม่มีคะแนนเท่ากัน กรณีเชิงบวกสองกรณีจะปรากฏที่หนึ่งและสาม ความแม่นยำที่ตำแหน่งเหล่านั้นคือ 1 และสองในสาม ดังนั้นความแม่นยำเฉลี่ยจึงอยู่ที่ประมาณ 0.833
ทีมงานใช้ Average_precision_score ของ scikit-Learn บนป้ายกำกับและคะแนนการทำนาย โดยจะบันทึกชั้นเรียนที่นับว่าเป็นบวก และหลีกเลี่ยงการแทนที่คะแนนด้วยการตัดสินใจที่ยากลำบากก่อนการประเมินผล
ชุดข้อมูลการประเมินสองชุดมีสัดส่วนกรณีที่เป็นบวกต่างกัน นักวิเคราะห์รายงานสัดส่วนเหล่านั้นก่อนเปรียบเทียบผลลัพธ์การเรียกคืนความแม่นยำ เนื่องจากความแพร่หลายเปลี่ยนแปลงวิธีการตีความความแม่นยำ
แดชบอร์ดการประเมินผลสามารถทำให้การวัดการจัดอันดับมีความชัดเจนมากขึ้นโดยแสดงความชุกเชิงบวก การคำนวณพื้นที่ที่แน่นอน และจุดปฏิบัติงานเชิงปฏิบัติถัดจากคะแนนสรุป ทีมตรวจสอบอาจสนใจมากที่สุดเกี่ยวกับจำนวนกรณีที่เป็นประโยชน์ที่ปรากฏภายในความจุรายวันคงที่ ในขณะที่ทีมอื่นอาจต้องการการเรียกคืนขั้นต่ำ การรักษาการคาดการณ์และป้ายกำกับช่วยให้สามารถทบทวนคำถามเหล่านั้นได้โดยไม่ต้องเปลี่ยนแบบจำลอง เมื่อจำนวนประชากรเปลี่ยนไป ทีมควรประเมินข้อดีข้อเสียของข้อมูลตัวแทนอีกครั้ง แทนที่จะถือว่าผลลัพธ์ที่มีความแม่นยำโดยเฉลี่ยก่อนหน้านี้รับประกันปริมาณงานหรือประโยชน์ในอนาคตที่เหมือนกัน
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
ความแม่นยำโดยเฉลี่ยจะสรุปความแม่นยำของแบบจำลองเมื่อการเรียกคืนเพิ่มขึ้นตามเกณฑ์การตัดสินใจ เส้นโค้งการเรียกคืนที่แม่นยำมีประโยชน์เมื่อกรณีที่เป็นบวกเกิดขึ้นไม่บ่อยนัก แต่ความแม่นยำโดยเฉลี่ยและพื้นที่สี่เหลี่ยมคางหมูใต้เส้นโค้งนั้นเป็นการคำนวณที่แตกต่างกันซึ่งควรตั้งชื่อให้ชัดเจน
ความแม่นยำ วัดความบริสุทธิ์ของชุดที่เลือก การเรียกคืนจะวัดส่วนแบ่งของผลบวกทั้งหมดที่พบ
ความแม่นยำอยู่ที่หนึ่งที่ค่าบวกแรก และสองในสามที่วินาที ค่าเฉลี่ยของพวกเขาคือห้าในหก หรือประมาณ 0.833
ความแม่นยำโดยเฉลี่ยจะชั่งน้ำหนักอย่างแม่นยำด้วยการเพิ่มการเรียกคืน ในขณะที่การรวมรูปสี่เหลี่ยมคางหมูจะเชื่อมต่อจุดโค้งโดยใช้โครงสร้างพื้นที่อื่น
คะแนนช่วยให้สามารถประเมินผลข้ามเกณฑ์ได้ การตัดสินใจที่ยากลำบากจะเก็บจุดปฏิบัติการเพียงจุดเดียวและละทิ้งข้อมูลการจัดอันดับส่วนใหญ่
ความแม่นยำขึ้นอยู่กับความชุกของชั้นเรียน ดังนั้นประชากรและแผนการสุ่มตัวอย่างจึงเป็นบริบทที่จำเป็น
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การทดสอบ Recall, Precision และ Elusion ในการตรวจสอบเอกสาร
เทคนิค