คู่มือพื้นฐาน

ความแม่นยำและการจดจำ

ความแม่นยำและการเรียกคืนเป็นตัวชี้วัดเสริมสองประการสำหรับการประเมินตัวแยกประเภท โดยเฉพาะอย่างยิ่งเมื่อคลาสไม่สมดุล

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตแห่งความแม่นยำและการจดจำ
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

Together they reveal what plain accuracy hides — how often a model's positive predictions are right, and how many real positives it actually catches.

เจาะลึก

เมื่อโมเดลแฟล็กรายการเป็นค่าบวก คำถามสองข้อก็มีความสำคัญ พรีซิชั่นถามว่า: ทุกสิ่งที่เราตั้งค่าสถานะไว้ มีมากน้อยเพียงใดที่เป็นบวกอย่างแท้จริง ซึ่งเท่ากับผลบวกที่แท้จริงหารด้วยผลบวกที่คาดการณ์ไว้ทั้งหมด ซึ่งจะลงโทษการแจ้งเตือนที่ผิดพลาด Recall (ความไว) ถามว่า: จากผลบวกที่แท้จริงทั้งหมด เราจับได้กี่ผล? มันเท่ากับผลบวกจริงหารด้วยผลบวกจริงทั้งหมด ถือเป็นการลงโทษพลาด สิ่งเหล่านี้มักจะต้องแลกมาด้วย: การลดเกณฑ์การตัดสินใจจะทำให้เกิดผลบวกมากขึ้น (การเรียกคืนที่สูงขึ้น) แต่จะส่งสัญญาณขยะมากขึ้น (ความแม่นยำต่ำกว่า) และในทางกลับกัน การจัดลำดับความสำคัญขึ้นอยู่กับต้นทุน — ตัวกรองสแปมให้ความสำคัญกับความแม่นยำ (อย่าทิ้งเมลจริง) ในขณะที่ตัวกรองมะเร็งช่วยให้เรียกคืนได้ (อย่าพลาดเนื้องอก) คะแนน F1 ซึ่งเป็นค่าเฉลี่ยฮาร์มอนิกจะสมดุลทั้งสองค่าให้เป็นตัวเลขเดียว

การใช้งานจริงในโลกแห่งความเป็นจริง

ตัวกรองสแปมปรับแต่งให้มีความแม่นยำสูง ดังนั้นอีเมลที่ถูกต้องจึงแทบจะไม่ถูกส่งไปยังโฟลเดอร์สแปมเลย

การตรวจคัดกรองทางการแพทย์ให้ความสำคัญกับการเรียกคืนสูง เพื่อหลีกเลี่ยงผู้ป่วยหายที่เป็นโรคจริง และยอมรับผลบวกลวงมากขึ้นสำหรับการติดตามผล

ระบบการค้นหาและการแนะนำรายงาน precision@k (จำนวนผลลัพธ์ k อันดับแรกที่เกี่ยวข้อง) เพื่อวัดคุณภาพการจัดอันดับ

การตรวจจับการฉ้อโกงสร้างความสมดุลระหว่างความแม่นยำและการเรียกคืนผ่านคะแนน F1 เนื่องจากทั้งการแจ้งเตือนที่ผิดพลาดและการฉ้อโกงที่ไม่ได้รับนั้นมีค่าใช้จ่ายสูง

อนาคตแห่งความแม่นยำและการจดจำ

เมื่อ AI เข้าสู่โดเมนที่มีเดิมพันสูง เช่น การวินิจฉัยทางการแพทย์ การกลั่นกรองเนื้อหา การฉ้อโกง ทีมต่างๆ รายงานความแม่นยำและการเรียกคืน (และเส้นโค้ง) มากขึ้น แทนที่จะแม่นยำเพียงอย่างเดียว และปรับแต่งเกณฑ์ให้ตรงกับต้นทุนในโลกแห่งความเป็นจริงและข้อจำกัดด้านความเป็นธรรม การตรวจสอบความแม่นยำ/การเรียกคืนต่อกลุ่มกำลังกลายเป็นมาตรฐานในการตรวจจับอัตราข้อผิดพลาดที่แตกต่างกันในกลุ่มประชากร คาดหวังว่าจะมีตัววัดที่คำนึงถึงต้นทุนมากขึ้น ความน่าจะเป็นที่ปรับเทียบแล้ว และเครื่องมือที่ช่วยให้ผู้มีส่วนได้ส่วนเสียเลือกจุดปฏิบัติงานแบบโต้ตอบได้ แทนที่จะยอมรับเกณฑ์เริ่มต้นที่ 0.5

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
  • ต้นทุนและงบประมาณ. คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
  • ทีมงานและขั้นตอนการทำงาน. ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น

ระวัง

  • แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
  • เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
  • การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง

ขั้นตอนต่อไป

  1. เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
  2. เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
  3. ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
  4. เอกสารที่ความแม่นยำและการเรียกคืนช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Precision and Recall quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Precision and Recall?

ความแม่นยำและการเรียกคืนเป็นตัวชี้วัดเสริมสองประการสำหรับการประเมินตัวแยกประเภท โดยเฉพาะอย่างยิ่งเมื่อคลาสไม่สมดุล พวกเขาร่วมกันเผยให้เห็นถึงความแม่นยำที่ซ่อนอยู่ - การคาดการณ์เชิงบวกของแบบจำลองนั้นถูกต้องบ่อยแค่ไหน และแบบจำลองนั้นสามารถตรวจพบผลบวกจริงได้กี่ครั้ง

พรีซิชั่นตอบคำถามไหน?

ความแม่นยำ = TP / (TP + FP) วัดความถูกต้องของการทำนายเชิงบวกของแบบจำลอง — ค่าสถานะเชิงบวกนั้นน่าเชื่อถือเพียงใด

On a fixed evaluation set, lowering a positive-class decision threshold usually produces which tradeoff?

Lowering the threshold expands or preserves the predicted-positive set. It may catch additional true positives and additional false positives; changes depend on which items cross the threshold.

Why can precision and recall reveal a weakness hidden by high accuracy on a dataset dominated by negatives?

Accuracy can be dominated by correct negative predictions. Precision and recall examine positive flags and missed positives using TP, FP, and FN.

Six of the top ten search results are relevant. What is precision@10 for that result list?

Precision@10 measures the relevant fraction among the top ten results: 6/10 = 60%.

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →