ต่อไปคำแนะนำต่อไป
คะแนน Silhouette และการประเมินคลัสเตอร์
เทคนิค
คู่มือทางเทคนิค
คะแนน Brier จะวัดข้อผิดพลาดในการพยากรณ์ความน่าจะเป็นโดยการเปรียบเทียบความน่าจะเป็นที่คาดการณ์ไว้กับผลลัพธ์ที่เกิดขึ้นจริง
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
ช่วยให้คุณประเมินว่าความเชื่อมั่นของระบบ AI มีประโยชน์หรือไม่ แม้ว่าทั้งสองระบบจะคาดการณ์ว่าใช่หรือไม่ใช่เหมือนกันก็ตาม
แบบจำลองการจำแนกประเภทอาจแสดงทั้งป้ายกำกับและความน่าจะเป็น ระบบการจัดส่งอาจเรียกพัสดุสองชิ้นล่าช้าโดยกำหนดความน่าจะเป็น 0.6 และ 0.9 ความแม่นยำจะปฏิบัติต่อการคาดการณ์เหล่านั้นเหมือนกันหลังจากที่เกณฑ์แปลงเป็นป้ายกำกับ คะแนน Brier จะรักษาความแตกต่างในความมั่นใจ สำหรับเหตุการณ์ไบนารี ให้เข้ารหัสเหตุการณ์เป็น 1 และเหตุการณ์ไม่เกิดขึ้นเป็น 0 ลบผลลัพธ์ออกจากความน่าจะเป็นที่คาดการณ์ไว้ ผลต่างยกกำลังสอง และค่าเฉลี่ยในกรณีต่างๆ ในรูปแบบไบนารีที่ใช้กันทั่วไป ผลลัพธ์จะอยู่ในช่วงตั้งแต่ 0 ถึง 1 โดยค่าที่น้อยกว่าบ่งชี้ว่ามีความน่าจะเป็นที่ผิดพลาดน้อยกว่า ระบุเหตุการณ์ที่คาดการณ์ไว้เสมอ: ไม่สามารถเปรียบเทียบความน่าจะเป็นที่จะมาสายกับป้ายกำกับที่หมายถึงมาถึงตรงเวลาได้ พิจารณาพัสดุสมมุติสองชิ้นที่มีความน่าจะเป็นที่จะมาช้าที่ 0.8 และ 0.3 ครั้งแรกมาสายและครั้งที่สองมาตรงเวลา การขาดทุนของพวกเขาคือ 0.04 และ 0.09 โดยเฉลี่ย 0.065 สิ่งเหล่านี้เป็นตัวอย่างทางคณิตศาสตร์ ไม่ใช่ผลลัพธ์จากผลิตภัณฑ์ที่นำไปใช้งานหรือการศึกษาวิจัย คะแนนต้องมีการเปรียบเทียบที่มีความหมาย คะแนนที่ต่ำอาจเกิดขึ้นได้ง่ายเมื่อเหตุการณ์นั้นแทบไม่เคยเกิดขึ้นเลย เปรียบเทียบแบบจำลองกับข้อมูลพื้นฐานอย่างง่ายในกรณีการประเมินเดียวกัน และรายงานอัตราเหตุการณ์ อย่าอ้างว่าคะแนนใดคะแนนหนึ่งนั้นดีในระดับสากลในชุดข้อมูลที่ไม่เกี่ยวข้องกัน ตรวจสอบการสอบเทียบด้วย: ในกรณีต่างๆ ที่ได้รับมอบหมายความน่าจะเป็นที่คล้ายคลึงกัน เหตุการณ์ดังกล่าวเกิดขึ้นบ่อยเพียงใด คะแนน Brier ที่ต่ำกว่าเพียงอย่างเดียวไม่ได้พิสูจน์ว่าการสอบเทียบดีขึ้น เนื่องจากคะแนนยังให้รางวัลแก่การแยกกรณีและปัญหาที่มีความเสี่ยงที่แตกต่างกัน Scikit-Learn เอกสารทั้งการให้คะแนนความน่าจะเป็นและเครื่องมือสอบเทียบ เมื่อรวมกับการแบ่งการประเมินที่เหมาะสมแล้ว ยังช่วยแยกแยะความเชื่อมั่นที่เป็นประโยชน์จากตัวเลขที่ดูน่าเชื่อได้
ในการพยากรณ์การจัดส่งตามสมมุติฐาน พัสดุมีโอกาส 70% ที่คาดการณ์ว่าจะมาถึงล่าช้าและมาถึงช้า การสูญเสีย Brier แบบไบนารีของมันคือกำลังสองของ 0.7 ลบ 1 ซึ่งก็คือ 0.09
การคาดการณ์เชิงสมมุติสองรายการทำนายการจัดส่งล่าช้าโดยใช้เกณฑ์การตัดสินใจ 50% หากมาถึงตรงเวลา การคาดการณ์ 60% จะต้องสูญเสีย 0.36 ในขณะที่การคาดการณ์ 90% จะต้องสูญเสีย 0.81
ทีมสนับสนุนจะเปรียบเทียบโมเดลการยกระดับตั๋วกับข้อมูลพื้นฐานที่คาดการณ์อัตราการยกระดับที่วัดในข้อมูลการฝึกอบรมเสมอ โดยจะประเมินทั้งสองรายการในตั๋วใบเดียวกันในภายหลัง
นักวิเคราะห์ใช้ brier_score_loss ของ scikit-learn เพื่อประเมินความน่าจะเป็นและแผนการสอบเทียบเพื่อตรวจสอบว่าช่วงความเชื่อมั่นใดที่ทำให้เข้าใจผิด การตรวจสอบเหล่านั้นจะตอบคำถามที่เกี่ยวข้องแต่ต่างกัน
เนื่องจากอินเทอร์เฟซ AI จำนวนมากแสดงความมั่นใจ ทีมต่างๆ จะต้องได้รับการประเมินเพื่อตรวจสอบว่าตัวเลขเหล่านั้นมีความหมายในทางปฏิบัติอย่างไร ขั้นตอนถัดไปที่มีประโยชน์คือการรักษาการคาดการณ์ก่อนที่ผลลัพธ์จะมาถึงและรวมเข้ากับผลลัพธ์ในภายหลังโดยใช้ตัวระบุที่เสถียร รายงานควรแสดงคะแนน Brier ควบคู่ไปกับข้อมูลพื้นฐาน การตรวจสอบการสอบเทียบ และจำนวนเคสที่ได้รับการประเมิน ทีมควรตรวจสอบกลุ่มและช่วงเวลาที่เกี่ยวข้อง เนื่องจากค่าเฉลี่ยโดยรวมสามารถซ่อนการเสื่อมสภาพได้ ขั้นตอนการทำงานนี้ขึ้นอยู่กับการรวบรวมผลลัพธ์ที่น่าเชื่อถือ การแสดงเปอร์เซ็นต์ความเชื่อมั่นเพียงอย่างเดียวไม่ได้แสดงว่าได้รับการทดสอบแล้ว
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คะแนน Brier จะวัดข้อผิดพลาดในการพยากรณ์ความน่าจะเป็นโดยการเปรียบเทียบความน่าจะเป็นที่คาดการณ์ไว้กับผลลัพธ์ที่เกิดขึ้นจริง ช่วยให้คุณประเมินว่าความเชื่อมั่นของระบบ AI มีประโยชน์หรือไม่ แม้ว่าทั้งสองระบบจะคาดการณ์ว่าใช่หรือไม่ใช่เหมือนกันก็ตาม
การเกิดขึ้นจะถูกเข้ารหัสเป็น 1 ดังนั้นผลต่างกำลังสองคือ (0.7 ลบ 1) กำลังสอง หรือ 0.09
คะแนนเฉลี่ยข้อผิดพลาดยกกำลังสองแต่ละรายการ: (0.04 บวก 0.09) หารด้วย 2 คือ 0.065
ผลลัพธ์เชิงบวกและความน่าจะเป็นที่คาดการณ์จะต้องอธิบายเหตุการณ์เดียวกัน มิฉะนั้นการคำนวณจะวัดปริมาณที่ไม่ตรงกัน
การสูญเสีย Brier สะท้อนมากกว่าการสอบเทียบ ความละเอียดที่ได้รับการปรับปรุงสามารถลดการสูญเสียได้แม้ว่าการสอบเทียบจะไม่ได้รับการปรับปรุงก็ตาม
เส้นฐานอัตราคงที่แสดงให้เห็นว่าแบบจำลองได้รับการปรับปรุงในการคาดการณ์อย่างง่ายภายใต้ความถี่ของเหตุการณ์และกรณีการประเมินเดียวกันหรือไม่
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
คะแนน Silhouette และการประเมินคลัสเตอร์
เทคนิค