ไบรเออร์สกอร์

แบบจำลองการจำแนกประเภทอาจแสดงทั้งป้ายกำกับและความน่าจะเป็น ระบบการจัดส่งอาจเรียกพัสดุสองชิ้นล่าช้าโดยกำหนดความน่าจะเป็น 0.6 และ 0.9 ความแม่นยำจะปฏิบัติต่อการคาดการณ์เหล่านั้นเหมือนกันหลังจากที่เกณฑ์แปลงเป็นป้ายกำกับ คะแนน Brier จะรักษาความแตกต่างในความมั่นใจ สำหรับเหตุการณ์ไบนารี ให้เข้ารหัสเหตุการณ์เป็น 1 และเหตุการณ์ไม่เกิดขึ้นเป็น 0 ลบผลลัพธ์ออกจากความน่าจะเป็นที่คาดการณ์ไว้ ผลต่างยกกำลังสอง และค่าเฉลี่ยในกรณีต่างๆ ในรูปแบบไบนารีที่ใช้กันทั่วไป ผลลัพธ์จะอยู่ในช่วงตั้งแต่ 0 ถึง 1 โดยค่าที่น้อยกว่าบ่งชี้ว่ามีความน่าจะเป็นที่ผิดพลาดน้อยกว่า ระบุเหตุการณ์ที่คาดการณ์ไว้เสมอ: ไม่สามารถเปรียบเทียบความน่าจะเป็นที่จะมาสายกับป้ายกำกับที่หมายถึงมาถึงตรงเวลาได้ พิจารณาพัสดุสมมุติสองชิ้นที่มีความน่าจะเป็นที่จะมาช้าที่ 0.8 และ 0.3 ครั้งแรกมาสายและครั้งที่สองมาตรงเวลา การขาดทุนของพวกเขาคือ 0.04 และ 0.09 โดยเฉลี่ย 0.065 สิ่งเหล่านี้เป็นตัวอย่างทางคณิตศาสตร์ ไม่ใช่ผลลัพธ์จากผลิตภัณฑ์ที่นำไปใช้งานหรือการศึกษาวิจัย คะแนนต้องมีการเปรียบเทียบที่มีความหมาย คะแนนที่ต่ำอาจเกิดขึ้นได้ง่ายเมื่อเหตุการณ์นั้นแทบไม่เคยเกิดขึ้นเลย เปรียบเทียบแบบจำลองกับข้อมูลพื้นฐานอย่างง่ายในกรณีการประเมินเดียวกัน และรายงานอัตราเหตุการณ์ อย่าอ้างว่าคะแนนใดคะแนนหนึ่งนั้นดีในระดับสากลในชุดข้อมูลที่ไม่เกี่ยวข้องกัน ตรวจสอบการสอบเทียบด้วย: ในกรณีต่างๆ ที่ได้รับมอบหมายความน่าจะเป็นที่คล้ายคลึงกัน เหตุการณ์ดังกล่าวเกิดขึ้นบ่อยเพียงใด คะแนน Brier ที่ต่ำกว่าเพียงอย่างเดียวไม่ได้พิสูจน์ว่าการสอบเทียบดีขึ้น เนื่องจากคะแนนยังให้รางวัลแก่การแยกกรณีและปัญหาที่มีความเสี่ยงที่แตกต่างกัน Scikit-Learn เอกสารทั้งการให้คะแนนความน่าจะเป็นและเครื่องมือสอบเทียบ เมื่อรวมกับการแบ่งการประเมินที่เหมาะสมแล้ว ยังช่วยแยกแยะความเชื่อมั่นที่เป็นประโยชน์จากตัวเลขที่ดูน่าเชื่อได้