คู่มือพื้นฐาน
การตรวจจับความผิดปกติ
การตรวจจับความผิดปกติเป็นการฝึกสอนเครื่องจักรให้ระบุจุดข้อมูลที่เบี่ยงเบนไปจากรูปแบบปกติอย่างมาก
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
เรื่องนี้สำคัญเนื่องจากเหตุการณ์ที่ไม่คาดคิดและเกิดขึ้นไม่บ่อยนัก เช่น การฉ้อโกง อุปกรณ์ขัดข้อง การบุกรุก มักจะซ่อนอยู่ในมหาสมุทรของข้อมูลประจำที่มนุษย์ไม่สามารถสแกนด้วยมือได้
เจาะลึก
การตรวจจับความผิดปกติจะระบุการสังเกตที่ไม่สอดคล้องกับพฤติกรรมที่คาดหวัง ซึ่งมักเรียกว่าค่าผิดปกติ สิ่งใหม่ หรือข้อยกเว้น วิธีการส่วนใหญ่เรียนรู้ก่อนว่า 'ปกติ' มีลักษณะอย่างไร จากนั้นจึงให้คะแนนข้อมูลใหม่ตามระยะที่มันหลงทาง วิธีการทางสถิติชี้ว่ามีค่าเกินกว่าค่าเบี่ยงเบนมาตรฐานเล็กน้อย วิธีการที่ใช้ระยะทาง เช่น เพื่อนบ้านที่ใกล้ที่สุด k ชี้ให้ไกลจากเพื่อน วิธีความหนาแน่น เช่น ค่าสถานะค่านอกเหนือท้องถิ่นจะชี้ให้เห็นในพื้นที่กระจัดกระจาย การเรียนรู้ของเครื่องได้เพิ่ม Isolation Forests ซึ่งใช้ประโยชน์จากข้อเท็จจริงที่ว่าความผิดปกตินั้นง่ายต่อการแยกโดยมีการสุ่มแยกเพียงเล็กน้อย และตัวเข้ารหัสอัตโนมัติ ซึ่งสร้างข้อมูลปกติขึ้นมาใหม่ได้ดีแต่ล้มเหลวในสิ่งผิดปกติ ความท้าทายหลักคือความผิดปกตินั้นหาได้ยากและมักไม่มีป้ายกำกับ ดังนั้นแบบจำลองจึงต้องเรียนรู้เป็นส่วนใหญ่จากตัวอย่างปกติ และยอมรับคำจำกัดความที่คลุมเครือและเปลี่ยนแปลงไปของคำว่า 'ปกติ'
การใช้งานจริงในโลกแห่งความเป็นจริง
เครือข่ายบัตรเครดิตทำเครื่องหมายการทำธุรกรรมในต่างประเทศเพียงไม่กี่วินาทีหลังจากมีการใช้บัตรในประเทศ ระงับการฉ้อโกงก่อนซื้อ
เซ็นเซอร์จากโรงงานตรวจจับการสั่นสะเทือนหรืออุณหภูมิที่ผิดปกติในมอเตอร์ โดยคาดการณ์ความล้มเหลวของตลับลูกปืนหลายวันก่อนที่ความเสียหายจะหยุดสายการผลิต
เครื่องมือรักษาความปลอดภัยทางไซเบอร์ตรวจพบว่าเซิร์ฟเวอร์ส่งกิกะไบต์ไปยัง IP ที่ไม่รู้จักอย่างกะทันหันในเวลาตี 3 ซึ่งเป็นสัญญาณบ่งชี้ว่าอาจมีการขโมยข้อมูลได้
เครื่องติดตามของโรงพยาบาลจับจังหวะการเต้นของหัวใจที่ไม่สม่ำเสมอในข้อมูล ECG อย่างต่อเนื่อง เพื่อแจ้งเตือนแพทย์ถึงภาวะหัวใจเต้นผิดจังหวะที่กำลังพัฒนา
อนาคตของการตรวจจับความผิดปกติ
การตรวจจับกำลังเคลื่อนไปสู่การสตรีมแบบเรียลไทม์บนอุปกรณ์ Edge ดังนั้นความผิดปกติจึงปรากฏขึ้นภายในเสี้ยววินาที แทนที่จะปรากฏหลังการวิเคราะห์เป็นชุด การเรียนรู้เชิงลึกและโครงข่ายประสาทเทียมแบบกราฟจับรูปแบบที่ละเอียดอ่อนและหลายตัวแปรได้มากขึ้น เช่น วงแหวนการฉ้อโกงที่ประสานกัน โมเดลแบบมีการดูแลตนเองและแบบพื้นฐานรับประกันว่าระบบจะปรับตามการเลื่อน 'ปกติ' เมื่อเวลาผ่านไป ซึ่งช่วยลดการปรับจูนใหม่ด้วยตนเอง ความสามารถในการอธิบายก็เป็นสิ่งสำคัญเช่นกัน ทีมต้องการแบบจำลองที่ไม่เพียงแต่บอกว่ามีบางอย่างผิดปกติ แต่ฟีเจอร์ใดที่ทำให้เกิดการแจ้งเตือน เพื่อให้นักวิเคราะห์สามารถดำเนินการด้วยความมั่นใจ
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
- ต้นทุนและงบประมาณ. คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
- ทีมงานและขั้นตอนการทำงาน. ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น
ระวัง
- แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
- เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
- การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง
ขั้นตอนต่อไป
- เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
- เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
- ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
- เอกสารที่การตรวจจับความผิดปกติช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Anomaly Detection quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
การตรวจจับความผิดปกติคืออะไร?
การตรวจจับความผิดปกติเป็นการฝึกสอนเครื่องจักรให้ระบุจุดข้อมูลที่เบี่ยงเบนไปจากรูปแบบปกติอย่างมาก เรื่องนี้สำคัญเนื่องจากเหตุการณ์ที่ไม่คาดคิดและเกิดขึ้นไม่บ่อยนัก เช่น การฉ้อโกง อุปกรณ์ขัดข้อง การบุกรุก มักจะซ่อนอยู่ในมหาสมุทรของข้อมูลประจำที่มนุษย์ไม่สามารถสแกนด้วยมือได้
เหตุใดโมเดลการตรวจจับความผิดปกติจึงมักได้รับการฝึกอบรมเกี่ยวกับข้อมูล 'ปกติ' เป็นส่วนใหญ่ แทนที่จะติดป้ายกำกับความผิดปกติ
เนื่องจากความผิดปกติที่แท้จริงนั้นเกิดขึ้นไม่บ่อยนักและยากต่อการติดป้ายกำกับ โมเดลจึงมักจะเรียนรู้ว่าลักษณะปกติเป็นอย่างไรและทำเครื่องหมายความเบี่ยงเบนจากความผิดปกติดังกล่าว
Isolation Forest ระบุความผิดปกติได้อย่างไร?
ค่าผิดปกติสามารถแยกออกจากข้อมูลที่เหลือได้ง่าย ดังนั้นจึงถูกแยกออกโดยมีพาร์ติชันน้อยลง ทำให้เกิดความยาวเส้นทางเฉลี่ยที่สั้น
เมื่อใช้โปรแกรมเข้ารหัสอัตโนมัติเพื่อตรวจจับความผิดปกติ อะไรจะส่งสัญญาณถึงความผิดปกติ
โปรแกรมเข้ารหัสอัตโนมัติที่ผ่านการฝึกฝนกับข้อมูลปกติจะสร้างอินพุตปกติขึ้นมาใหม่ได้ดี แต่จะสร้างข้อผิดพลาดขนาดใหญ่ในการฟื้นฟูอินพุตที่ผิดปกติ
วิธี Local Outlier Factor ขึ้นอยู่กับอะไรเป็นหลัก
ธง LOF ชี้ว่าอยู่ในพื้นที่กระจัดกระจายและมีความหนาแน่นต่ำเมื่อเทียบกับเพื่อนบ้านว่าเป็นความผิดปกติ
ข้อใดคือความท้าทายที่สมจริงสำหรับระบบการตรวจจับความผิดปกติที่ปรับใช้
พฤติกรรมวิวัฒนาการ ดังนั้นสิ่งที่นับเป็นกะปกติ และแบบจำลองจะต้องปรับเปลี่ยนหรือได้รับการฝึกอบรมใหม่เพื่อหลีกเลี่ยงการแจ้งเตือนที่ผิดพลาด
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้