คู่มือทางเทคนิค

ไบรเออร์สกอร์

คะแนน Brier จะวัดข้อผิดพลาดในการพยากรณ์ความน่าจะเป็นโดยการเปรียบเทียบความน่าจะเป็นที่คาดการณ์ไว้กับผลลัพธ์ที่เกิดขึ้นจริง

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 3 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของคะแนน Brier
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

ช่วยให้คุณประเมินว่าความเชื่อมั่นของระบบ AI มีประโยชน์หรือไม่ แม้ว่าทั้งสองระบบจะคาดการณ์ว่าใช่หรือไม่ใช่เหมือนกันก็ตาม

เจาะลึก

แบบจำลองการจำแนกประเภทอาจแสดงทั้งป้ายกำกับและความน่าจะเป็น ระบบการจัดส่งอาจเรียกพัสดุสองชิ้นล่าช้าโดยกำหนดความน่าจะเป็น 0.6 และ 0.9 ความแม่นยำจะปฏิบัติต่อการคาดการณ์เหล่านั้นเหมือนกันหลังจากที่เกณฑ์แปลงเป็นป้ายกำกับ คะแนน Brier จะรักษาความแตกต่างในความมั่นใจ สำหรับเหตุการณ์ไบนารี ให้เข้ารหัสเหตุการณ์เป็น 1 และเหตุการณ์ไม่เกิดขึ้นเป็น 0 ลบผลลัพธ์ออกจากความน่าจะเป็นที่คาดการณ์ไว้ ผลต่างยกกำลังสอง และค่าเฉลี่ยในกรณีต่างๆ ในรูปแบบไบนารีที่ใช้กันทั่วไป ผลลัพธ์จะอยู่ในช่วงตั้งแต่ 0 ถึง 1 โดยค่าที่น้อยกว่าบ่งชี้ว่ามีความน่าจะเป็นที่ผิดพลาดน้อยกว่า ระบุเหตุการณ์ที่คาดการณ์ไว้เสมอ: ไม่สามารถเปรียบเทียบความน่าจะเป็นที่จะมาสายกับป้ายกำกับที่หมายถึงมาถึงตรงเวลาได้ พิจารณาพัสดุสมมุติสองชิ้นที่มีความน่าจะเป็นที่จะมาช้าที่ 0.8 และ 0.3 ครั้งแรกมาสายและครั้งที่สองมาตรงเวลา การขาดทุนของพวกเขาคือ 0.04 และ 0.09 โดยเฉลี่ย 0.065 สิ่งเหล่านี้เป็นตัวอย่างทางคณิตศาสตร์ ไม่ใช่ผลลัพธ์จากผลิตภัณฑ์ที่นำไปใช้งานหรือการศึกษาวิจัย คะแนนต้องมีการเปรียบเทียบที่มีความหมาย คะแนนที่ต่ำอาจเกิดขึ้นได้ง่ายเมื่อเหตุการณ์นั้นแทบไม่เคยเกิดขึ้นเลย เปรียบเทียบแบบจำลองกับข้อมูลพื้นฐานอย่างง่ายในกรณีการประเมินเดียวกัน และรายงานอัตราเหตุการณ์ อย่าอ้างว่าคะแนนใดคะแนนหนึ่งนั้นดีในระดับสากลในชุดข้อมูลที่ไม่เกี่ยวข้องกัน ตรวจสอบการสอบเทียบด้วย: ในกรณีต่างๆ ที่ได้รับมอบหมายความน่าจะเป็นที่คล้ายคลึงกัน เหตุการณ์ดังกล่าวเกิดขึ้นบ่อยเพียงใด คะแนน Brier ที่ต่ำกว่าเพียงอย่างเดียวไม่ได้พิสูจน์ว่าการสอบเทียบดีขึ้น เนื่องจากคะแนนยังให้รางวัลแก่การแยกกรณีและปัญหาที่มีความเสี่ยงที่แตกต่างกัน Scikit-Learn เอกสารทั้งการให้คะแนนความน่าจะเป็นและเครื่องมือสอบเทียบ เมื่อรวมกับการแบ่งการประเมินที่เหมาะสมแล้ว ยังช่วยแยกแยะความเชื่อมั่นที่เป็นประโยชน์จากตัวเลขที่ดูน่าเชื่อได้

การใช้งานจริงในโลกแห่งความเป็นจริง

ในการพยากรณ์การจัดส่งตามสมมุติฐาน พัสดุมีโอกาส 70% ที่คาดการณ์ว่าจะมาถึงล่าช้าและมาถึงช้า การสูญเสีย Brier แบบไบนารีของมันคือกำลังสองของ 0.7 ลบ 1 ซึ่งก็คือ 0.09

การคาดการณ์เชิงสมมุติสองรายการทำนายการจัดส่งล่าช้าโดยใช้เกณฑ์การตัดสินใจ 50% หากมาถึงตรงเวลา การคาดการณ์ 60% จะต้องสูญเสีย 0.36 ในขณะที่การคาดการณ์ 90% จะต้องสูญเสีย 0.81

ทีมสนับสนุนจะเปรียบเทียบโมเดลการยกระดับตั๋วกับข้อมูลพื้นฐานที่คาดการณ์อัตราการยกระดับที่วัดในข้อมูลการฝึกอบรมเสมอ โดยจะประเมินทั้งสองรายการในตั๋วใบเดียวกันในภายหลัง

นักวิเคราะห์ใช้ brier_score_loss ของ scikit-learn เพื่อประเมินความน่าจะเป็นและแผนการสอบเทียบเพื่อตรวจสอบว่าช่วงความเชื่อมั่นใดที่ทำให้เข้าใจผิด การตรวจสอบเหล่านั้นจะตอบคำถามที่เกี่ยวข้องแต่ต่างกัน

อนาคตของคะแนน Brier

เนื่องจากอินเทอร์เฟซ AI จำนวนมากแสดงความมั่นใจ ทีมต่างๆ จะต้องได้รับการประเมินเพื่อตรวจสอบว่าตัวเลขเหล่านั้นมีความหมายในทางปฏิบัติอย่างไร ขั้นตอนถัดไปที่มีประโยชน์คือการรักษาการคาดการณ์ก่อนที่ผลลัพธ์จะมาถึงและรวมเข้ากับผลลัพธ์ในภายหลังโดยใช้ตัวระบุที่เสถียร รายงานควรแสดงคะแนน Brier ควบคู่ไปกับข้อมูลพื้นฐาน การตรวจสอบการสอบเทียบ และจำนวนเคสที่ได้รับการประเมิน ทีมควรตรวจสอบกลุ่มและช่วงเวลาที่เกี่ยวข้อง เนื่องจากค่าเฉลี่ยโดยรวมสามารถซ่อนการเสื่อมสภาพได้ ขั้นตอนการทำงานนี้ขึ้นอยู่กับการรวบรวมผลลัพธ์ที่น่าเชื่อถือ การแสดงเปอร์เซ็นต์ความเชื่อมั่นเพียงอย่างเดียวไม่ได้แสดงว่าได้รับการทดสอบแล้ว

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Brier Score quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

คะแนน Brier คืออะไร?

คะแนน Brier จะวัดข้อผิดพลาดในการพยากรณ์ความน่าจะเป็นโดยการเปรียบเทียบความน่าจะเป็นที่คาดการณ์ไว้กับผลลัพธ์ที่เกิดขึ้นจริง ช่วยให้คุณประเมินว่าความเชื่อมั่นของระบบ AI มีประโยชน์หรือไม่ แม้ว่าทั้งสองระบบจะคาดการณ์ว่าใช่หรือไม่ใช่เหมือนกันก็ตาม

พัสดุมีโอกาส 70% ที่จะล่าช้าและล่าช้า การสูญเสียไบนารี Brier ใดที่ตามมาจากสูตรของคู่มือ

การเกิดขึ้นจะถูกเข้ารหัสเป็น 1 ดังนั้นผลต่างกำลังสองคือ (0.7 ลบ 1) กำลังสอง หรือ 0.09

สำหรับพัสดุสองชิ้นที่เสียไป 0.04 และ 0.09 การคำนวณใดจะทำให้เกิดคะแนน Brier รวม

คะแนนเฉลี่ยข้อผิดพลาดยกกำลังสองแต่ละรายการ: (0.04 บวก 0.09) หารด้วย 2 คือ 0.065

โมเดลการจัดส่งรายงานความน่าจะเป็นที่จะมาล่าช้า แต่คอลัมน์ผลลัพธ์ใช้ 1 สำหรับการจัดส่งตรงเวลา ผู้ประเมินควรแก้ไขอะไรก่อน?

ผลลัพธ์เชิงบวกและความน่าจะเป็นที่คาดการณ์จะต้องอธิบายเหตุการณ์เดียวกัน มิฉะนั้นการคำนวณจะวัดปริมาณที่ไม่ตรงกัน

เหตุใดคะแนน Brier ของแบบจำลองจึงสามารถปรับปรุงได้โดยไม่ต้องปรับปรุงการสอบเทียบ

การสูญเสีย Brier สะท้อนมากกว่าการสอบเทียบ ความละเอียดที่ได้รับการปรับปรุงสามารถลดการสูญเสียได้แม้ว่าการสอบเทียบจะไม่ได้รับการปรับปรุงก็ตาม

เมื่อการยกระดับไม่ค่อยเกิดขึ้น การเปรียบเทียบใดที่ทำให้คะแนน Brier ที่ต่ำของโมเดลตั๋วมีข้อมูลมากขึ้น

เส้นฐานอัตราคงที่แสดงให้เห็นว่าแบบจำลองได้รับการปรับปรุงในการคาดการณ์อย่างง่ายภายใต้ความถี่ของเหตุการณ์และกรณีการประเมินเดียวกันหรือไม่

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →