LegközelebbKövetkező útmutató
Building Local LLM Apps with Ollama
Műszaki
Műszaki ÚTMUTATÓ
A Local Outlier Factor (LOF) úgy értékeli a megfigyelést, hogy összehasonlítja a helyi sűrűségét a legközelebbi szomszédok sűrűségével.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Képes felismerni a ritka vagy sűrű területen belüli szokatlan pontokat, de a szomszédok száma, a távolság skálázása, valamint a kiugró értékek és az újdonságok észlelése közötti különbség befolyásolja a használatát.
A LOF egy sűrűség alapú anomália pontszám. Minden egyes megfigyelésnél megkeresi a k legközelebbi pont környékét, és megbecsüli a helyi elérhetőségi sűrűséget, amely azt tükrözi, hogy a pont milyen szorosan van a szomszédaihoz képest. A LOF összehasonlítja a szomszédok átlagos helyi elérhetőségi sűrűségét a pont saját sűrűségével. Az egyhez közeli pontszám hasonló helyi sűrűséget jelez; a lényegesen nagyobb pontszám azt jelzi, hogy a pont kevésbé sűrű, mint a közeli megfigyelések. Ez egy relatív lokális összehasonlítás, nem pedig a központtól való globális távolság mértéke. Ez a hely olyan anomáliákat tárhat fel, amelyeket a globális módszerek figyelmen kívül hagynak. Egy pont szokatlan lehet egy sűrű környéken, miközben még mindig olyan régióban fekszik, ahol az általános adatkészlet széles. Ezzel szemben a fő felhőtől távol eső pont egy különálló sűrű alcsoportba tartozhat, és szokásos helyi pontszámot kaphat. Az, hogy ez az alcsoport anomáliának számít-e, a feladattól függ. A szomszédok száma szabályozza az összehasonlítás skáláját. A kis környékek érzékenyek a finom szerkezetekre és a zajra; a nagyokat külön csoportok között lehet összehasonlítani. A távolságmérők és a jellemzőegységek fontosak, mert a LOF a legközelebbi szomszédokat használja. Mérje be megfelelően a numerikus változókat és kódolja a kategóriákat anélkül, hogy félrevezető számsorrendet találna ki. Válassza ki a beállításokat a várható csoportméretek alapján, és értékelje a pontszám viselkedését, ideális esetben felülvizsgált esetekkel. A Scikit-learn megkülönbözteti az outlier-észlelést, ahol a LOF azonosítja a szokatlan megfigyeléseket az illesztett adatkészletben, az újdonság-detektálástól, amikor a modellt referenciaadatokra illesztik, és új pontokon használják. Ez utóbbi megköveteli az újdonság=igaz értéket, és a dokumentáció óva int az újdonságpontozási módszerek használatától a betanítási adatokon ebben a módban. A LOF-pontszámok nem kalibrált valószínűségek, és az API-kban fordított előjel-egyezményeket alkalmazhatnak. Ellenőrizze, hogy a magasabb vagy alacsonyabb értékek nagyobb rendellenességet jeleznek-e. A szomszédsági anomália egy kiválasztott referenciakészlethez és mérőszámhoz viszonyított bizonyíték, nem pedig végleges ítélet az adatok minőségéről vagy kockázatáról.
Egy pont egy ritka zsebben van egy sűrű környék mellett. Lokális elérhetőségi sűrűsége kisebb, mint a szomszédoké, így LOF aránya akkor is emelkedik, ha abszolút elhelyezkedése globálisan nincs messze minden adattól.
Egy hipotetikus megfigyelés messze van a fő felhőtől, de egy különálló sűrű alcsoporton belül. A LOF lokálisan közönségesnek tekintheti, mert hasonló sűrűségű szomszédai vannak, ami jól illusztrálja a különbséget a globális ritkaság és a lokális kiugró státusz között.
A távolságszámítás előtt egy csapat összehasonlítja az n_neighbors értékeket, és skálázza a numerikus jellemzőket. Túl kevés szomszéd esetén apró építmények dominálhatnak; túl sok elmoshatja a helyi csoportokat.
Az újdonság észleléséhez az elemző a referenciaadatokra illeszti a LOF-ot az újdonság = True értékkel, és később nem látott pontokat szerez. A könyvtár dokumentált megkülönböztetését követve kerülik az újdonságpontozási módszerek alkalmazását a képzési halmazra ebben a módban.
A LOF támogathatja a gondos áttekintést, amikor az anomália jelentések a kiválasztott szomszéd skálát, az előfeldolgozást és a helyi pontszám irányát mutatják. A csapatoknak össze kell hasonlítaniuk a szokatlan eseteket tényleges kortárs csoportjaikkal, hogy eldöntsék, számít-e a helyi eltérés. Az adatok eloszlásának változásával átgondoltan frissítse a referenciakészletet, és figyelje szegmensenként a pontszámeltolódásokat. Ha újdonságérzékelést használ, tartsa külön a képzési és a jövőbeli pontozási útvonalakat. A jobb interfészek megmagyarázhatnák, hogy mely szomszédok járultak hozzá a pontszámhoz, miközben világossá teszik, hogy a szomszédság-összehasonlítás nem oksági vagy kalibrált kockázatértékelés.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Local Outlier Factor (LOF) úgy értékeli a megfigyelést, hogy összehasonlítja a helyi sűrűségét a legközelebbi szomszédok sűrűségével. Képes felismerni a ritka vagy sűrű területen belüli szokatlan pontokat, de a szomszédok száma, a távolság skálázása, valamint a kiugró értékek és az újdonságok észlelése közötti különbség befolyásolja a használatát.
A LOF összehasonlítja a szomszéd sűrűségét a pont sűrűségével; a nagyobb arány relatív ritkaságot jelez.
A LOF helyi; egy pont a saját sűrű szomszédságában lehet lokálisan hétköznapi a globális szétválás ellenére.
k határozza meg a szomszédság méretét és ezáltal a sűrűség-összehasonlítás lokalitásskáláját.
A léptékkülönbségek uralhatják a távolságmérőt, és megváltoztathatják, hogy mely megfigyelések szomszédosak.
Az újdonság mód illeszkedik a referenciaadatokhoz, és kiértékeli a nem látott megfigyeléseket, eltérve az illesztett mintán belüli kiugró értékek azonosításától.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Building Local LLM Apps with Ollama
Műszaki