การตรวจจับความผิดปกติ

It matters because rare, unexpected events — fraud, equipment failure, intrusions — often hide in oceans of routine data that humans cannot scan by hand.

การตรวจจับความผิดปกติจะระบุการสังเกตที่ไม่สอดคล้องกับพฤติกรรมที่คาดหวัง ซึ่งมักเรียกว่าค่าผิดปกติ สิ่งใหม่ หรือข้อยกเว้น วิธีการส่วนใหญ่เรียนรู้ก่อนว่า 'ปกติ' มีลักษณะอย่างไร จากนั้นจึงให้คะแนนข้อมูลใหม่ตามระยะที่มันหลงทาง วิธีการทางสถิติชี้ว่ามีค่าเกินกว่าค่าเบี่ยงเบนมาตรฐานเล็กน้อย วิธีการที่ใช้ระยะทาง เช่น เพื่อนบ้านที่ใกล้ที่สุด k ชี้ให้ไกลจากเพื่อน วิธีความหนาแน่น เช่น ค่าสถานะค่านอกเหนือท้องถิ่นจะชี้ให้เห็นในพื้นที่กระจัดกระจาย การเรียนรู้ของเครื่องได้เพิ่ม Isolation Forests ซึ่งใช้ประโยชน์จากข้อเท็จจริงที่ว่าความผิดปกตินั้นง่ายต่อการแยกโดยมีการสุ่มแยกเพียงเล็กน้อย และตัวเข้ารหัสอัตโนมัติ ซึ่งสร้างข้อมูลปกติขึ้นมาใหม่ได้ดีแต่ล้มเหลวในสิ่งผิดปกติ ความท้าทายหลักคือความผิดปกตินั้นหาได้ยากและมักไม่มีป้ายกำกับ ดังนั้นแบบจำลองจึงต้องเรียนรู้เป็นส่วนใหญ่จากตัวอย่างปกติ และยอมรับคำจำกัดความที่คลุมเครือและเปลี่ยนแปลงไปของคำว่า 'ปกติ'