Tiếp theoHướng dẫn tiếp theo
Xây dựng ứng dụng LLM cục bộ với Ollama
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Chỉ số Yếu tố Ngoại lệ Địa phương (LOF) đánh giá một quan sát bằng cách so sánh mật độ địa phương của nó với mật độ của các hàng xóm gần nhất.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Nó có thể phát hiện các điểm bất thường trong một vùng rỗng hoặc dày đặc, nhưng số lượng hàng xóm, tỷ lệ khoảng cách và sự khác biệt giữa phát hiện ngoại lệ và phát hiện mới ảnh hưởng đến việc sử dụng nó.
LOF is a density-based anomaly score. For each observation, it finds a neighborhood of k nearest points and estimates local reachability density, which reflects how closely packed the point is relative to its neighbors. LOF compares the average local reachability density of neighbors with the point's own density. A score near one indicates comparable local density; a substantially larger score indicates that the point is less dense than nearby observations. It is a relative local comparison rather than a global distance-from-center measure. This locality can surface anomalies that global methods miss. A point can be unusual in a dense neighborhood while still lying in a region where the overall dataset is broad. Conversely, a point far from the main cloud may belong to a distinct dense subgroup and receive an ordinary local score. Whether that subgroup should count as anomalous depends on the task. The neighbor count controls the scale of comparison. Small neighborhoods are sensitive to fine structure and noise; large ones may compare across separate groups. Distance metric and feature units are important because LOF uses nearest neighbors. Scale numerical variables appropriately and encode categories without inventing misleading numeric order. Choose settings based on expected group sizes and evaluate score behavior, ideally with reviewed cases. Scikit-learn distinguishes outlier detection, where LOF identifies unusual observations in the fitted dataset, from novelty detection, where a model is fitted on reference data and used on new points. The latter requires novelty=True, and the documentation warns against using the novelty scoring methods on the training data in that mode. LOF scores are not calibrated probabilities and may use inverted sign conventions in APIs. Inspect whether higher or lower values indicate greater abnormality. A neighborhood anomaly is evidence relative to a selected reference set and metric, not a definitive judgment about data quality or risk.
Một điểm nằm trong một ngăn lỗ rỗng bên cạnh một khu dân cư dày đặc. Mật độ khả năng tiếp cận địa phương của nó thấp hơn của hàng xóm, vì vậy tỷ lệ LOF của nó tăng lên ngay cả khi vị trí tuyệt đối của nó không xa toàn cầu từ tất cả dữ liệu.
Một quan sát giả định nằm xa khỏi đám mây chính nhưng bên trong một nhóm dày đặc riêng biệt. LOF có thể coi nó là bình thường địa phương vì nó có hàng xóm có mật độ tương tự, minh họa sự khác biệt giữa hiếm toàn cầu và trạng thái ngoại lệ địa phương.
Một nhóm so sánh các giá trị n_neighbors và tỷ lệ các đặc trưng số trước khi tính toán khoảng cách. Với quá ít hàng xóm, các cấu trúc nhỏ có thể chiếm ưu thế; quá nhiều có thể làm mờ các nhóm địa phương.
Đối với phát hiện mới, một nhà phân tích áp dụng LOF trên dữ liệu tham chiếu với novelty=True và đánh giá các điểm chưa thấy sau này. Họ tránh áp dụng các phương pháp đánh giá mới cho tập huấn luyện trong chế độ này, tuân theo sự phân biệt được tài liệu của thư viện.
LOF có thể hỗ trợ đánh giá cẩn thận khi các báo cáo bất thường hiển thị quy mô hàng xóm được chọn, tiền xử lý và hướng điểm số địa phương. Các nhóm nên so sánh các trường hợp bất thường với nhóm đồng đẳng thực tế của họ để quyết định liệu sự lệch địa phương có quan trọng hay không. Khi phân phối dữ liệu thay đổi, cập nhật bộ tham chiếu một cách chu đáo và theo dõi sự thay đổi điểm số theo phân đoạn. Khi phát hiện mới được sử dụng, giữ các đường dẫn huấn luyện và đánh giá trong tương lai riêng biệt. Giao diện tốt hơn có thể giải thích những hàng xóm đã đóng góp vào một điểm số, đồng thời làm rõ rằng so sánh vùng lân cận không phải là đánh giá rủi ro có nguyên nhân hay được hiệu chỉnh.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Chỉ số Yếu tố Ngoại lệ Địa phương (LOF) đánh giá một quan sát bằng cách so sánh mật độ địa phương của nó với mật độ của các hàng xóm gần nhất. Nó có thể phát hiện các điểm bất thường trong một vùng rỗng hoặc dày đặc, nhưng số lượng hàng xóm, tỷ lệ khoảng cách và sự khác biệt giữa phát hiện ngoại lệ và phát hiện mới ảnh hưởng đến việc sử dụng nó.
LOF so sánh mật độ hàng xóm với mật độ của điểm; một tỷ lệ lớn hơn cho thấy độ rỗng tương đối.
LOF là địa phương; một điểm trong khu dân cư dày đặc của riêng nó có thể bình thường địa phương mặc dù cách biệt toàn cầu.
k xác định kích thước vùng lân cận và do đó quy mô địa phương của so sánh mật độ.
Sự khác biệt trong tỷ lệ có thể chiếm ưu thế trong thước đo khoảng cách và thay đổi những quan sát là hàng xóm.
Chế độ mới huấn luyện dữ liệu tham chiếu và đánh giá các quan sát chưa thấy, khác với việc xác định ngoại lệ trong mẫu đã huấn luyện.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Xây dựng ứng dụng LLM cục bộ với Ollama
kỹ thuật