คู่มือทางเทคนิค
ปัจจัยค่าผิดปกติในท้องถิ่น
Local Outlier Factor (LOF) ให้คะแนนการสังเกตโดยการเปรียบเทียบความหนาแน่นในท้องถิ่นกับความหนาแน่นของเพื่อนบ้านที่ใกล้ที่สุด
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
บนหน้านี้อ่าน 3 นาที
ภาพรวม
สามารถตรวจจับจุดที่ผิดปกติภายในพื้นที่กระจัดกระจายหรือหนาแน่นได้ แต่จำนวนเพื่อนบ้าน การขยายระยะทาง และความแตกต่างระหว่างการตรวจจับค่าผิดปกติและการตรวจจับสิ่งแปลกใหม่ส่งผลต่อการใช้งาน
เจาะลึก
LOF คือคะแนนความผิดปกติที่อิงตามความหนาแน่น สำหรับการสังเกตแต่ละครั้ง ระบบจะค้นหาบริเวณใกล้เคียง k จุดที่ใกล้ที่สุด และประมาณความหนาแน่นของความสามารถในการเข้าถึงในพื้นที่ ซึ่งสะท้อนให้เห็นว่าจุดนั้นอัดกันแน่นมากเพียงใดเมื่อเทียบกับเพื่อนบ้าน LOF จะเปรียบเทียบความหนาแน่นของความสามารถในการเข้าถึงในพื้นที่โดยเฉลี่ยของเพื่อนบ้านกับความหนาแน่นของจุดนั้นเอง คะแนนที่ใกล้หนึ่งบ่งชี้ถึงความหนาแน่นในท้องถิ่นที่เทียบเคียงได้ คะแนนที่ใหญ่กว่ามากบ่งชี้ว่าจุดนั้นมีความหนาแน่นน้อยกว่าการสังเกตในบริเวณใกล้เคียง เป็นการเปรียบเทียบในท้องถิ่นเชิงสัมพันธ์มากกว่าการวัดระยะทางจากศูนย์กลางทั่วโลก บริเวณนี้สามารถแสดงความผิดปกติที่วิธีการทั่วโลกพลาดไป จุดหนึ่งอาจผิดปกติในพื้นที่ใกล้เคียงที่หนาแน่นในขณะที่ยังคงนอนอยู่ในภูมิภาคที่ชุดข้อมูลโดยรวมมีความกว้าง ในทางกลับกัน จุดที่อยู่ห่างจากเมฆหลักอาจเป็นของกลุ่มย่อยที่มีความหนาแน่นแตกต่างกัน และได้รับคะแนนท้องถิ่นตามปกติ กลุ่มย่อยนั้นควรนับว่ามีความผิดปกติหรือไม่นั้นขึ้นอยู่กับงาน จำนวนเพื่อนบ้านจะควบคุมระดับการเปรียบเทียบ บริเวณใกล้เคียงขนาดเล็กมีความอ่อนไหวต่อโครงสร้างที่ดีและเสียงรบกวน ขนาดใหญ่อาจเปรียบเทียบข้ามกลุ่ม หน่วยเมตริกและคุณลักษณะระยะทางมีความสำคัญเนื่องจาก LOF ใช้เพื่อนบ้านที่ใกล้ที่สุด ปรับขนาดตัวแปรตัวเลขอย่างเหมาะสมและเข้ารหัสหมวดหมู่โดยไม่สร้างลำดับตัวเลขที่ทำให้เข้าใจผิด เลือกการตั้งค่าตามขนาดกลุ่มที่คาดหวังและประเมินพฤติกรรมของคะแนน โดยจะเหมาะกับกรณีที่ได้รับการตรวจสอบแล้ว Scikit-learn แยกความแตกต่างการตรวจจับค่าผิดปกติ โดยที่ LOF ระบุการสังเกตที่ผิดปกติในชุดข้อมูลที่ติดตั้ง จากการตรวจจับสิ่งใหม่ โดยที่แบบจำลองได้รับการติดตั้งกับข้อมูลอ้างอิงและใช้กับจุดใหม่ อย่างหลังต้องการความแปลกใหม่=จริง และเอกสารประกอบเตือนไม่ให้ใช้วิธีการให้คะแนนความแปลกใหม่กับข้อมูลการฝึกอบรมในโหมดนั้น คะแนน LOF ไม่ได้รับการปรับเทียบความน่าจะเป็นและอาจใช้รูปแบบการลงนามแบบกลับหัวใน API ตรวจสอบว่าค่าที่สูงกว่าหรือต่ำกว่าบ่งชี้ว่ามีความผิดปกติมากขึ้นหรือไม่ ความผิดปกติของพื้นที่ใกล้เคียงเป็นหลักฐานที่เกี่ยวข้องกับชุดอ้างอิงและตัวชี้วัดที่เลือก ไม่ใช่การตัดสินขั้นสุดท้ายเกี่ยวกับคุณภาพหรือความเสี่ยงของข้อมูล
การใช้งานจริงในโลกแห่งความเป็นจริง
มีจุดหนึ่งอยู่ในกระเป๋ากระจัดกระจายใกล้กับย่านที่หนาแน่น ความหนาแน่นของความสามารถในการเข้าถึงในพื้นที่นั้นต่ำกว่าของเพื่อนบ้าน ดังนั้นอัตราส่วน LOF ของมันจึงเพิ่มขึ้น แม้ว่าตำแหน่งที่แน่นอนจะไม่ได้ห่างไกลจากข้อมูลทั้งหมดทั่วโลกก็ตาม
การสังเกตสมมุติฐานอยู่ห่างจากเมฆหลักแต่อยู่ในกลุ่มย่อยที่หนาแน่นแยกจากกัน LOF อาจถือว่าเป็นเรื่องปกติในท้องถิ่นเนื่องจากมีเพื่อนบ้านที่มีความหนาแน่นใกล้เคียงกัน ซึ่งแสดงให้เห็นความแตกต่างระหว่างสิ่งที่หายากทั่วโลกและสถานะผิดปกติในท้องถิ่น
ทีมงานจะเปรียบเทียบค่า n_neighbors และปรับขนาดคุณลักษณะที่เป็นตัวเลขก่อนการคำนวณระยะทาง เมื่อมีเพื่อนบ้านน้อยเกินไป โครงสร้างเล็กๆ อาจมีอิทธิพลเหนือ มากเกินไปอาจทำให้กลุ่มท้องถิ่นเบลอได้
สำหรับการตรวจจับสิ่งใหม่ นักวิเคราะห์จะปรับ LOF ให้เหมาะกับข้อมูลอ้างอิงที่มีความแปลกใหม่=จริง และให้คะแนนจุดที่มองไม่เห็นในภายหลัง พวกเขาหลีกเลี่ยงการใช้วิธีให้คะแนนแบบใหม่กับชุดการฝึกภายใต้โหมดนี้ ตามข้อแตกต่างที่บันทึกไว้ของห้องสมุด
อนาคตของปัจจัยค่าผิดปกติในท้องถิ่น
LOF สามารถรองรับการตรวจสอบอย่างรอบคอบเมื่อรายงานความผิดปกติแสดงระดับเพื่อนบ้านที่เลือก การประมวลผลล่วงหน้า และทิศทางคะแนนท้องถิ่น ทีมควรเปรียบเทียบกรณีที่ไม่ปกติกับกลุ่มเพื่อนจริงเพื่อตัดสินใจว่าการเบี่ยงเบนในท้องถิ่นมีความสำคัญหรือไม่ เมื่อการกระจายข้อมูลเปลี่ยนแปลง ให้อัปเดตชุดอ้างอิงอย่างรอบคอบและติดตามการเปลี่ยนแปลงของคะแนนตามส่วน เมื่อใช้การตรวจจับสิ่งแปลกใหม่ ให้แยกเส้นทางการฝึกอบรมและเส้นทางการให้คะแนนในอนาคตให้ชัดเจน อินเทอร์เฟซที่ดีกว่าสามารถอธิบายได้ว่าเพื่อนบ้านรายใดมีส่วนทำให้คะแนน ในขณะที่ทำให้ชัดเจนว่าการเปรียบเทียบละแวกใกล้เคียงไม่ใช่การประเมินความเสี่ยงเชิงสาเหตุหรือเทียบเคียง
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Local Outlier Factor quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
ปัจจัยค่าผิดปกติในท้องถิ่นคืออะไร?
Local Outlier Factor (LOF) ให้คะแนนการสังเกตโดยการเปรียบเทียบความหนาแน่นในท้องถิ่นกับความหนาแน่นของเพื่อนบ้านที่ใกล้ที่สุด สามารถตรวจจับจุดที่ผิดปกติภายในพื้นที่กระจัดกระจายหรือหนาแน่นได้ แต่จำนวนเพื่อนบ้าน การขยายระยะทาง และความแตกต่างระหว่างการตรวจจับค่าผิดปกติและการตรวจจับสิ่งแปลกใหม่ส่งผลต่อการใช้งาน
คะแนน LOF ที่สูงกว่าคะแนนที่แนะนำคืออะไร
LOF เปรียบเทียบความหนาแน่นของเพื่อนบ้านกับความหนาแน่นของจุด อัตราส่วนที่มากขึ้นบ่งบอกถึงความกระจัดกระจายสัมพัทธ์
ทำไมจุดที่ห่างไกลถึงได้รับคะแนน LOF ปกติ?
LOF เป็นภาษาท้องถิ่น จุดหนึ่งในย่านใกล้เคียงที่หนาแน่นของตัวเองสามารถเป็นเรื่องธรรมดาในท้องถิ่นได้แม้ว่าจะมีการแบ่งแยกจากทั่วโลกก็ตาม
โดยทั่วไปการเพิ่มจำนวนเพื่อนบ้านเปลี่ยนแปลงอะไร?
k กำหนดขนาดพื้นที่ใกล้เคียงและขนาดพื้นที่ของการเปรียบเทียบความหนาแน่น
เหตุใดการปรับขนาดคุณสมบัติจึงมีความสำคัญสำหรับ LOF
ความแตกต่างของมาตราส่วนสามารถครอบงำการวัดระยะทางและเปลี่ยนการสังเกตที่เป็นเพื่อนบ้านได้
การตรวจจับความแปลกใหม่แตกต่างจากการตรวจจับค่าผิดปกติตัวอย่างที่ติดตั้งไว้อย่างไร
โหมดแปลกใหม่เหมาะกับข้อมูลอ้างอิงและประเมินการสังเกตที่มองไม่เห็น แตกต่างจากการระบุค่าผิดปกติภายในตัวอย่างที่ติดตั้ง
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้