DalšíDalší průvodce
Building Local LLM Apps with Ollama
Technický
Technický PRŮVODCE
Local Outlier Factor (LOF) hodnotí pozorování porovnáním jeho místní hustoty s hustotami jeho nejbližších sousedů.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Dokáže detekovat body, které jsou neobvyklé v řídké nebo husté oblasti, ale počet sousedů, škálování vzdálenosti a rozdíl mezi detekcí odlehlých hodnot a detekcí novosti ovlivňují její použití.
LOF je skóre anomálií založené na hustotě. Pro každé pozorování najde okolí k nejbližších bodů a odhadne místní hustotu dosažitelnosti, která odráží, jak blízko je bod vzhledem ke svým sousedům. LOF porovnává průměrnou místní hustotu dosažitelnosti sousedů s vlastní hustotou bodu. Skóre blízko jedné označuje srovnatelnou místní hustotu; podstatně větší skóre ukazuje, že bod je méně hustý než blízká pozorování. Jde spíše o relativní lokální srovnání než o globální měření vzdálenosti od středu. Tato lokalita může odhalit anomálie, které globální metody postrádají. Bod může být neobvyklý v hustém sousedství, zatímco stále leží v oblasti, kde je celkový soubor dat široký. Naopak bod daleko od hlavního mraku může patřit do odlišné husté podskupiny a získat běžné místní skóre. Zda by se tato podskupina měla považovat za anomální, závisí na úkolu. Počet sousedů řídí měřítko srovnání. Malé čtvrti jsou citlivé na jemnou strukturu a hluk; velké lze porovnávat v různých skupinách. Metrika vzdálenosti a jednotky prvků jsou důležité, protože LOF používá nejbližší sousedy. Přiměřeně škálujte číselné proměnné a kódujte kategorie, aniž byste vymýšleli zavádějící číselné pořadí. Vyberte nastavení na základě očekávané velikosti skupiny a vyhodnoťte chování skóre, ideálně s kontrolovanými případy. Scikit-learn rozlišuje detekci odlehlých hodnot, kde LOF identifikuje neobvyklá pozorování ve fitovaném souboru dat, od detekce novosti, kde je model přizpůsoben referenčním datům a používán na nových bodech. Ten vyžaduje novost=True a dokumentace varuje před používáním metod hodnocení novosti na trénovacích datech v tomto režimu. Skóre LOF nejsou kalibrované pravděpodobnosti a mohou používat konvence s obráceným znaménkem v rozhraních API. Zkontrolujte, zda vyšší nebo nižší hodnoty neznamenají větší abnormalitu. Anomálie sousedství je důkaz ve vztahu k vybrané referenční sadě a metrice, nikoli definitivní úsudek o kvalitě dat nebo riziku.
Bod leží v řídké kapse vedle husté čtvrti. Jeho místní hustota dosažitelnosti je nižší než u jeho sousedů, takže jeho poměr LOF roste, i když jeho absolutní poloha není globálně daleko od všech dat.
Hypotetické pozorování leží daleko od hlavního mraku, ale uvnitř samostatné husté podskupiny. LOF ji může považovat za místně běžnou, protože má sousedy s podobnou hustotou, což ilustruje rozdíl mezi globální vzácností a místním odlehlým stavem.
Před výpočtem vzdálenosti tým porovnává hodnoty n_neighbors a měří číselné prvky. S příliš malým počtem sousedů mohou dominovat drobné stavby; příliš mnoho může rozmazat místní skupiny.
Pro detekci novosti analytik nasadí LOF na referenční data s novostí=True a získá později neviditelné body. Vyhýbají se aplikaci nových metod bodování na trénovací sadu v tomto režimu, v souladu s rozlišením dokumentovaným knihovnou.
LOF může podporovat pečlivou kontrolu, když zprávy o anomáliích ukazují vybrané sousedské měřítko, předběžné zpracování a směr místního skóre. Týmy by měly porovnat neobvyklé případy se svými skutečnými skupinami vrstevníků, aby rozhodly, zda záleží na místní odchylce. Jak se mění distribuce dat, promyšleně aktualizujte referenční sadu a sledujte posuny skóre podle segmentů. Když se používá detekce novinek, udržujte oddělené cesty tréninku a budoucího hodnocení. Lepší rozhraní by mohla vysvětlit, kteří sousedé přispěli ke skóre, a zároveň objasnit, že srovnání sousedství není kauzální nebo kalibrované hodnocení rizik.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Local Outlier Factor (LOF) hodnotí pozorování porovnáním jeho místní hustoty s hustotami jeho nejbližších sousedů. Dokáže detekovat body, které jsou neobvyklé v řídké nebo husté oblasti, ale počet sousedů, škálování vzdálenosti a rozdíl mezi detekcí odlehlých hodnot a detekcí novosti ovlivňují její použití.
LOF porovnává hustotu sousedů s hustotou bodu; větší poměr ukazuje na relativní řídkost.
LOF je místní; bod ve svém vlastním hustém sousedství může být místně obyčejný navzdory globálnímu oddělení.
k určuje velikost sousedství a tím i měřítko lokality srovnání hustoty.
Rozdíly v měřítku mohou dominovat metrice vzdálenosti a změnit, která pozorování jsou sousedící.
Novinkový režim přizpůsobuje referenční data a vyhodnocuje neviditelná pozorování, odlišná od identifikace odlehlých hodnot v rámci přizpůsobeného vzorku.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Building Local LLM Apps with Ollama
Technický