ต่อไปคำแนะนำต่อไป
การทดสอบ Recall, Precision และ Elusion ในการตรวจสอบเอกสาร
เทคนิค
คู่มือพื้นฐาน
ความแม่นยำและการเรียกคืนเป็นตัวชี้วัดเสริมสองประการสำหรับการประเมินตัวแยกประเภท โดยเฉพาะอย่างยิ่งเมื่อคลาสไม่สมดุล
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
Together they reveal what plain accuracy hides — how often a model's positive predictions are right, and how many real positives it actually catches.
เมื่อโมเดลแฟล็กรายการเป็นค่าบวก คำถามสองข้อก็มีความสำคัญ พรีซิชั่นถามว่า: ทุกสิ่งที่เราตั้งค่าสถานะไว้ มีมากน้อยเพียงใดที่เป็นบวกอย่างแท้จริง ซึ่งเท่ากับผลบวกที่แท้จริงหารด้วยผลบวกที่คาดการณ์ไว้ทั้งหมด ซึ่งจะลงโทษการแจ้งเตือนที่ผิดพลาด Recall (ความไว) ถามว่า: จากผลบวกที่แท้จริงทั้งหมด เราจับได้กี่ผล? มันเท่ากับผลบวกจริงหารด้วยผลบวกจริงทั้งหมด ถือเป็นการลงโทษพลาด สิ่งเหล่านี้มักจะต้องแลกมาด้วย: การลดเกณฑ์การตัดสินใจจะทำให้เกิดผลบวกมากขึ้น (การเรียกคืนที่สูงขึ้น) แต่จะส่งสัญญาณขยะมากขึ้น (ความแม่นยำต่ำกว่า) และในทางกลับกัน การจัดลำดับความสำคัญขึ้นอยู่กับต้นทุน — ตัวกรองสแปมให้ความสำคัญกับความแม่นยำ (อย่าทิ้งเมลจริง) ในขณะที่ตัวกรองมะเร็งช่วยให้เรียกคืนได้ (อย่าพลาดเนื้องอก) คะแนน F1 ซึ่งเป็นค่าเฉลี่ยฮาร์มอนิกจะสมดุลทั้งสองค่าให้เป็นตัวเลขเดียว
ตัวกรองสแปมปรับแต่งให้มีความแม่นยำสูง ดังนั้นอีเมลที่ถูกต้องจึงแทบจะไม่ถูกส่งไปยังโฟลเดอร์สแปมเลย
การตรวจคัดกรองทางการแพทย์ให้ความสำคัญกับการเรียกคืนสูง เพื่อหลีกเลี่ยงผู้ป่วยหายที่เป็นโรคจริง และยอมรับผลบวกลวงมากขึ้นสำหรับการติดตามผล
ระบบการค้นหาและการแนะนำรายงาน precision@k (จำนวนผลลัพธ์ k อันดับแรกที่เกี่ยวข้อง) เพื่อวัดคุณภาพการจัดอันดับ
การตรวจจับการฉ้อโกงสร้างความสมดุลระหว่างความแม่นยำและการเรียกคืนผ่านคะแนน F1 เนื่องจากทั้งการแจ้งเตือนที่ผิดพลาดและการฉ้อโกงที่ไม่ได้รับนั้นมีค่าใช้จ่ายสูง
เมื่อ AI เข้าสู่โดเมนที่มีเดิมพันสูง เช่น การวินิจฉัยทางการแพทย์ การกลั่นกรองเนื้อหา การฉ้อโกง ทีมต่างๆ รายงานความแม่นยำและการเรียกคืน (และเส้นโค้ง) มากขึ้น แทนที่จะแม่นยำเพียงอย่างเดียว และปรับแต่งเกณฑ์ให้ตรงกับต้นทุนในโลกแห่งความเป็นจริงและข้อจำกัดด้านความเป็นธรรม การตรวจสอบความแม่นยำ/การเรียกคืนต่อกลุ่มกำลังกลายเป็นมาตรฐานในการตรวจจับอัตราข้อผิดพลาดที่แตกต่างกันในกลุ่มประชากร คาดหวังว่าจะมีตัววัดที่คำนึงถึงต้นทุนมากขึ้น ความน่าจะเป็นที่ปรับเทียบแล้ว และเครื่องมือที่ช่วยให้ผู้มีส่วนได้ส่วนเสียเลือกจุดปฏิบัติงานแบบโต้ตอบได้ แทนที่จะยอมรับเกณฑ์เริ่มต้นที่ 0.5
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
ความแม่นยำและการเรียกคืนเป็นตัวชี้วัดเสริมสองประการสำหรับการประเมินตัวแยกประเภท โดยเฉพาะอย่างยิ่งเมื่อคลาสไม่สมดุล พวกเขาร่วมกันเผยให้เห็นถึงความแม่นยำที่ซ่อนอยู่ - การคาดการณ์เชิงบวกของแบบจำลองนั้นถูกต้องบ่อยแค่ไหน และแบบจำลองนั้นสามารถตรวจพบผลบวกจริงได้กี่ครั้ง
ความแม่นยำ = TP / (TP + FP) วัดความถูกต้องของการทำนายเชิงบวกของแบบจำลอง — ค่าสถานะเชิงบวกนั้นน่าเชื่อถือเพียงใด
Lowering the threshold expands or preserves the predicted-positive set. It may catch additional true positives and additional false positives; changes depend on which items cross the threshold.
Accuracy can be dominated by correct negative predictions. Precision and recall examine positive flags and missed positives using TP, FP, and FN.
Precision@10 measures the relevant fraction among the top ten results: 6/10 = 60%.
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การทดสอบ Recall, Precision และ Elusion ในการตรวจสอบเอกสาร
เทคนิค