การสอบเทียบความน่าจะเป็น

It matters because accurate confidence drives good decisions in medicine, finance, and risk-sensitive AI.

แบบจำลองอาจมีความแม่นยำแต่มีการสอบเทียบไม่ดี เครือข่ายเชิงลึกสมัยใหม่ขึ้นชื่อในเรื่องความมั่นใจมากเกินไป โดยคาดการณ์ได้ถึง 99% ซึ่งมักจะเกิดขึ้นน้อยกว่ามาก การสอบเทียบจะตรวจสอบสิ่งนี้โดยการรวบรวมการคาดการณ์ด้วยความมั่นใจ และตรวจสอบความถี่ที่สังเกตได้ในแต่ละบัคเก็ต แผนภาพความน่าเชื่อถือจะพล็อตที่คาดการณ์ไว้เทียบกับที่เกิดขึ้นจริง โมเดลที่ได้รับการปรับเทียบอย่างสมบูรณ์แบบจะวางอยู่บนแนวทแยง ข้อผิดพลาดในการสอบเทียบที่คาดหวัง (ECE) จะสรุปช่องว่างเป็นค่าเฉลี่ยถ่วงน้ำหนักในถังต่างๆ การแก้ไขมีสองรูปแบบ: วิธีการหลังการแก้ไข เช่น Platt scaling (การปรับการแปลงโลจิสติกให้เหมาะสม), การปรับอุณหภูมิ (หาร logits ด้วยสเกลาร์ T ที่เรียนรู้) และการถดถอยแบบไอโซโทนิก (ขั้นตอนแบบโมโนโทนิกพอดี); และวิธีการฝึกอบรม เช่น การปรับฉลากให้เรียบหรือการสูญเสียการให้คะแนนที่เหมาะสม การสอบเทียบและความแม่นยำเป็นเป้าหมายที่แตกต่างกัน และการปรับปรุงสิ่งหนึ่งไม่จำเป็นต้องปรับปรุงอีกสิ่งหนึ่ง