คู่มือทางเทคนิค

ปัจจัยค่าผิดปกติในท้องถิ่น

Local Outlier Factor (LOF) ให้คะแนนการสังเกตโดยการเปรียบเทียบความหนาแน่นในท้องถิ่นกับความหนาแน่นของเพื่อนบ้านที่ใกล้ที่สุด

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 3 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของปัจจัยค่าผิดปกติในท้องถิ่น
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

สามารถตรวจจับจุดที่ผิดปกติภายในพื้นที่กระจัดกระจายหรือหนาแน่นได้ แต่จำนวนเพื่อนบ้าน การขยายระยะทาง และความแตกต่างระหว่างการตรวจจับค่าผิดปกติและการตรวจจับสิ่งแปลกใหม่ส่งผลต่อการใช้งาน

เจาะลึก

LOF คือคะแนนความผิดปกติที่อิงตามความหนาแน่น สำหรับการสังเกตแต่ละครั้ง ระบบจะค้นหาบริเวณใกล้เคียง k จุดที่ใกล้ที่สุด และประมาณความหนาแน่นของความสามารถในการเข้าถึงในพื้นที่ ซึ่งสะท้อนให้เห็นว่าจุดนั้นอัดกันแน่นมากเพียงใดเมื่อเทียบกับเพื่อนบ้าน LOF จะเปรียบเทียบความหนาแน่นของความสามารถในการเข้าถึงในพื้นที่โดยเฉลี่ยของเพื่อนบ้านกับความหนาแน่นของจุดนั้นเอง คะแนนที่ใกล้หนึ่งบ่งชี้ถึงความหนาแน่นในท้องถิ่นที่เทียบเคียงได้ คะแนนที่ใหญ่กว่ามากบ่งชี้ว่าจุดนั้นมีความหนาแน่นน้อยกว่าการสังเกตในบริเวณใกล้เคียง เป็นการเปรียบเทียบในท้องถิ่นเชิงสัมพันธ์มากกว่าการวัดระยะทางจากศูนย์กลางทั่วโลก บริเวณนี้สามารถแสดงความผิดปกติที่วิธีการทั่วโลกพลาดไป จุดหนึ่งอาจผิดปกติในพื้นที่ใกล้เคียงที่หนาแน่นในขณะที่ยังคงนอนอยู่ในภูมิภาคที่ชุดข้อมูลโดยรวมมีความกว้าง ในทางกลับกัน จุดที่อยู่ห่างจากเมฆหลักอาจเป็นของกลุ่มย่อยที่มีความหนาแน่นแตกต่างกัน และได้รับคะแนนท้องถิ่นตามปกติ กลุ่มย่อยนั้นควรนับว่ามีความผิดปกติหรือไม่นั้นขึ้นอยู่กับงาน จำนวนเพื่อนบ้านจะควบคุมระดับการเปรียบเทียบ บริเวณใกล้เคียงขนาดเล็กมีความอ่อนไหวต่อโครงสร้างที่ดีและเสียงรบกวน ขนาดใหญ่อาจเปรียบเทียบข้ามกลุ่ม หน่วยเมตริกและคุณลักษณะระยะทางมีความสำคัญเนื่องจาก LOF ใช้เพื่อนบ้านที่ใกล้ที่สุด ปรับขนาดตัวแปรตัวเลขอย่างเหมาะสมและเข้ารหัสหมวดหมู่โดยไม่สร้างลำดับตัวเลขที่ทำให้เข้าใจผิด เลือกการตั้งค่าตามขนาดกลุ่มที่คาดหวังและประเมินพฤติกรรมของคะแนน โดยจะเหมาะกับกรณีที่ได้รับการตรวจสอบแล้ว Scikit-learn แยกความแตกต่างการตรวจจับค่าผิดปกติ โดยที่ LOF ระบุการสังเกตที่ผิดปกติในชุดข้อมูลที่ติดตั้ง จากการตรวจจับสิ่งใหม่ โดยที่แบบจำลองได้รับการติดตั้งกับข้อมูลอ้างอิงและใช้กับจุดใหม่ อย่างหลังต้องการความแปลกใหม่=จริง และเอกสารประกอบเตือนไม่ให้ใช้วิธีการให้คะแนนความแปลกใหม่กับข้อมูลการฝึกอบรมในโหมดนั้น คะแนน LOF ไม่ได้รับการปรับเทียบความน่าจะเป็นและอาจใช้รูปแบบการลงนามแบบกลับหัวใน API ตรวจสอบว่าค่าที่สูงกว่าหรือต่ำกว่าบ่งชี้ว่ามีความผิดปกติมากขึ้นหรือไม่ ความผิดปกติของพื้นที่ใกล้เคียงเป็นหลักฐานที่เกี่ยวข้องกับชุดอ้างอิงและตัวชี้วัดที่เลือก ไม่ใช่การตัดสินขั้นสุดท้ายเกี่ยวกับคุณภาพหรือความเสี่ยงของข้อมูล

การใช้งานจริงในโลกแห่งความเป็นจริง

มีจุดหนึ่งอยู่ในกระเป๋ากระจัดกระจายใกล้กับย่านที่หนาแน่น ความหนาแน่นของความสามารถในการเข้าถึงในพื้นที่นั้นต่ำกว่าของเพื่อนบ้าน ดังนั้นอัตราส่วน LOF ของมันจึงเพิ่มขึ้น แม้ว่าตำแหน่งที่แน่นอนจะไม่ได้ห่างไกลจากข้อมูลทั้งหมดทั่วโลกก็ตาม

การสังเกตสมมุติฐานอยู่ห่างจากเมฆหลักแต่อยู่ในกลุ่มย่อยที่หนาแน่นแยกจากกัน LOF อาจถือว่าเป็นเรื่องปกติในท้องถิ่นเนื่องจากมีเพื่อนบ้านที่มีความหนาแน่นใกล้เคียงกัน ซึ่งแสดงให้เห็นความแตกต่างระหว่างสิ่งที่หายากทั่วโลกและสถานะผิดปกติในท้องถิ่น

ทีมงานจะเปรียบเทียบค่า n_neighbors และปรับขนาดคุณลักษณะที่เป็นตัวเลขก่อนการคำนวณระยะทาง เมื่อมีเพื่อนบ้านน้อยเกินไป โครงสร้างเล็กๆ อาจมีอิทธิพลเหนือ มากเกินไปอาจทำให้กลุ่มท้องถิ่นเบลอได้

สำหรับการตรวจจับสิ่งใหม่ นักวิเคราะห์จะปรับ LOF ให้เหมาะกับข้อมูลอ้างอิงที่มีความแปลกใหม่=จริง และให้คะแนนจุดที่มองไม่เห็นในภายหลัง พวกเขาหลีกเลี่ยงการใช้วิธีให้คะแนนแบบใหม่กับชุดการฝึกภายใต้โหมดนี้ ตามข้อแตกต่างที่บันทึกไว้ของห้องสมุด

อนาคตของปัจจัยค่าผิดปกติในท้องถิ่น

LOF สามารถรองรับการตรวจสอบอย่างรอบคอบเมื่อรายงานความผิดปกติแสดงระดับเพื่อนบ้านที่เลือก การประมวลผลล่วงหน้า และทิศทางคะแนนท้องถิ่น ทีมควรเปรียบเทียบกรณีที่ไม่ปกติกับกลุ่มเพื่อนจริงเพื่อตัดสินใจว่าการเบี่ยงเบนในท้องถิ่นมีความสำคัญหรือไม่ เมื่อการกระจายข้อมูลเปลี่ยนแปลง ให้อัปเดตชุดอ้างอิงอย่างรอบคอบและติดตามการเปลี่ยนแปลงของคะแนนตามส่วน เมื่อใช้การตรวจจับสิ่งแปลกใหม่ ให้แยกเส้นทางการฝึกอบรมและเส้นทางการให้คะแนนในอนาคตให้ชัดเจน อินเทอร์เฟซที่ดีกว่าสามารถอธิบายได้ว่าเพื่อนบ้านรายใดมีส่วนทำให้คะแนน ในขณะที่ทำให้ชัดเจนว่าการเปรียบเทียบละแวกใกล้เคียงไม่ใช่การประเมินความเสี่ยงเชิงสาเหตุหรือเทียบเคียง

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Local Outlier Factor quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

ปัจจัยค่าผิดปกติในท้องถิ่นคืออะไร?

Local Outlier Factor (LOF) ให้คะแนนการสังเกตโดยการเปรียบเทียบความหนาแน่นในท้องถิ่นกับความหนาแน่นของเพื่อนบ้านที่ใกล้ที่สุด สามารถตรวจจับจุดที่ผิดปกติภายในพื้นที่กระจัดกระจายหรือหนาแน่นได้ แต่จำนวนเพื่อนบ้าน การขยายระยะทาง และความแตกต่างระหว่างการตรวจจับค่าผิดปกติและการตรวจจับสิ่งแปลกใหม่ส่งผลต่อการใช้งาน

คะแนน LOF ที่สูงกว่าคะแนนที่แนะนำคืออะไร

LOF เปรียบเทียบความหนาแน่นของเพื่อนบ้านกับความหนาแน่นของจุด อัตราส่วนที่มากขึ้นบ่งบอกถึงความกระจัดกระจายสัมพัทธ์

ทำไมจุดที่ห่างไกลถึงได้รับคะแนน LOF ปกติ?

LOF เป็นภาษาท้องถิ่น จุดหนึ่งในย่านใกล้เคียงที่หนาแน่นของตัวเองสามารถเป็นเรื่องธรรมดาในท้องถิ่นได้แม้ว่าจะมีการแบ่งแยกจากทั่วโลกก็ตาม

โดยทั่วไปการเพิ่มจำนวนเพื่อนบ้านเปลี่ยนแปลงอะไร?

k กำหนดขนาดพื้นที่ใกล้เคียงและขนาดพื้นที่ของการเปรียบเทียบความหนาแน่น

เหตุใดการปรับขนาดคุณสมบัติจึงมีความสำคัญสำหรับ LOF

ความแตกต่างของมาตราส่วนสามารถครอบงำการวัดระยะทางและเปลี่ยนการสังเกตที่เป็นเพื่อนบ้านได้

การตรวจจับความแปลกใหม่แตกต่างจากการตรวจจับค่าผิดปกติตัวอย่างที่ติดตั้งไว้อย่างไร

โหมดแปลกใหม่เหมาะกับข้อมูลอ้างอิงและประเมินการสังเกตที่มองไม่เห็น แตกต่างจากการระบุค่าผิดปกติภายในตัวอย่างที่ติดตั้ง

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →