Műszaki ÚTMUTATÓ

Helyi kiugró tényező

A Local Outlier Factor (LOF) úgy értékeli a megfigyelést, hogy összehasonlítja a helyi sűrűségét a legközelebbi szomszédok sűrűségével.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A helyi kiugró tényező jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Képes felismerni a ritka vagy sűrű területen belüli szokatlan pontokat, de a szomszédok száma, a távolság skálázása, valamint a kiugró értékek és az újdonságok észlelése közötti különbség befolyásolja a használatát.

Mély merülés

A LOF egy sűrűség alapú anomália pontszám. Minden egyes megfigyelésnél megkeresi a k ​​legközelebbi pont környékét, és megbecsüli a helyi elérhetőségi sűrűséget, amely azt tükrözi, hogy a pont milyen szorosan van a szomszédaihoz képest. A LOF összehasonlítja a szomszédok átlagos helyi elérhetőségi sűrűségét a pont saját sűrűségével. Az egyhez közeli pontszám hasonló helyi sűrűséget jelez; a lényegesen nagyobb pontszám azt jelzi, hogy a pont kevésbé sűrű, mint a közeli megfigyelések. Ez egy relatív lokális összehasonlítás, nem pedig a központtól való globális távolság mértéke. Ez a hely olyan anomáliákat tárhat fel, amelyeket a globális módszerek figyelmen kívül hagynak. Egy pont szokatlan lehet egy sűrű környéken, miközben még mindig olyan régióban fekszik, ahol az általános adatkészlet széles. Ezzel szemben a fő felhőtől távol eső pont egy különálló sűrű alcsoportba tartozhat, és szokásos helyi pontszámot kaphat. Az, hogy ez az alcsoport anomáliának számít-e, a feladattól függ. A szomszédok száma szabályozza az összehasonlítás skáláját. A kis környékek érzékenyek a finom szerkezetekre és a zajra; a nagyokat külön csoportok között lehet összehasonlítani. A távolságmérők és a jellemzőegységek fontosak, mert a LOF a legközelebbi szomszédokat használja. Mérje be megfelelően a numerikus változókat és kódolja a kategóriákat anélkül, hogy félrevezető számsorrendet találna ki. Válassza ki a beállításokat a várható csoportméretek alapján, és értékelje a pontszám viselkedését, ideális esetben felülvizsgált esetekkel. A Scikit-learn megkülönbözteti az outlier-észlelést, ahol a LOF azonosítja a szokatlan megfigyeléseket az illesztett adatkészletben, az újdonság-detektálástól, amikor a modellt referenciaadatokra illesztik, és új pontokon használják. Ez utóbbi megköveteli az újdonság=igaz értéket, és a dokumentáció óva int az újdonságpontozási módszerek használatától a betanítási adatokon ebben a módban. A LOF-pontszámok nem kalibrált valószínűségek, és az API-kban fordított előjel-egyezményeket alkalmazhatnak. Ellenőrizze, hogy a magasabb vagy alacsonyabb értékek nagyobb rendellenességet jeleznek-e. A szomszédsági anomália egy kiválasztott referenciakészlethez és mérőszámhoz viszonyított bizonyíték, nem pedig végleges ítélet az adatok minőségéről vagy kockázatáról.

Valós megvalósítás

Egy pont egy ritka zsebben van egy sűrű környék mellett. Lokális elérhetőségi sűrűsége kisebb, mint a szomszédoké, így LOF aránya akkor is emelkedik, ha abszolút elhelyezkedése globálisan nincs messze minden adattól.

Egy hipotetikus megfigyelés messze van a fő felhőtől, de egy különálló sűrű alcsoporton belül. A LOF lokálisan közönségesnek tekintheti, mert hasonló sűrűségű szomszédai vannak, ami jól illusztrálja a különbséget a globális ritkaság és a lokális kiugró státusz között.

A távolságszámítás előtt egy csapat összehasonlítja az n_neighbors értékeket, és skálázza a numerikus jellemzőket. Túl kevés szomszéd esetén apró építmények dominálhatnak; túl sok elmoshatja a helyi csoportokat.

Az újdonság észleléséhez az elemző a referenciaadatokra illeszti a LOF-ot az újdonság = True értékkel, és később nem látott pontokat szerez. A könyvtár dokumentált megkülönböztetését követve kerülik az újdonságpontozási módszerek alkalmazását a képzési halmazra ebben a módban.

A helyi kiugró tényező jövője

A LOF támogathatja a gondos áttekintést, amikor az anomália jelentések a kiválasztott szomszéd skálát, az előfeldolgozást és a helyi pontszám irányát mutatják. A csapatoknak össze kell hasonlítaniuk a szokatlan eseteket tényleges kortárs csoportjaikkal, hogy eldöntsék, számít-e a helyi eltérés. Az adatok eloszlásának változásával átgondoltan frissítse a referenciakészletet, és figyelje szegmensenként a pontszámeltolódásokat. Ha újdonságérzékelést használ, tartsa külön a képzési és a jövőbeli pontozási útvonalakat. A jobb interfészek megmagyarázhatnák, hogy mely szomszédok járultak hozzá a pontszámhoz, miközben világossá teszik, hogy a szomszédság-összehasonlítás nem oksági vagy kalibrált kockázatértékelés.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Local Outlier Factor quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a helyi kiugró tényező?

A Local Outlier Factor (LOF) úgy értékeli a megfigyelést, hogy összehasonlítja a helyi sűrűségét a legközelebbi szomszédok sűrűségével. Képes felismerni a ritka vagy sűrű területen belüli szokatlan pontokat, de a szomszédok száma, a távolság skálázása, valamint a kiugró értékek és az újdonságok észlelése közötti különbség befolyásolja a használatát.

Mit sugall egy lényegesen magasabb LOF-pontszám?

A LOF összehasonlítja a szomszéd sűrűségét a pont sűrűségével; a nagyobb arány relatív ritkaságot jelez.

Miért kaphat egy távoli pont rendes LOF-pontszámot?

A LOF helyi; egy pont a saját sűrű szomszédságában lehet lokálisan hétköznapi a globális szétválás ellenére.

Miben változik általában a szomszédok számának növelése?

k határozza meg a szomszédság méretét és ezáltal a sűrűség-összehasonlítás lokalitásskáláját.

Miért fontos a funkcióméretezés a LOF-ban?

A léptékkülönbségek uralhatják a távolságmérőt, és megváltoztathatják, hogy mely megfigyelések szomszédosak.

Miben különbözik az újdonság észlelése az illesztett mintás kiugró értékek észlelésétől?

Az újdonság mód illeszkedik a referenciaadatokhoz, és kiértékeli a nem látott megfigyeléseket, eltérve az illesztett mintán belüli kiugró értékek azonosításától.