Műszaki ÚTMUTATÓ

Hierarchikus klaszterezés

A hierarchikus klaszterezés csoportok egymásba ágyazott sorozatát építi fel, általában a legközelebbi klaszterek ismételt összevonásával egy agglomerációs eljárásban.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A hierarchikus klaszterezés jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A dendrogram rögzíti az összevonási sorrendet és a kapcsolódási magasságokat, lehetővé téve az elemzők számára, hogy megvizsgáljanak több fürtvágást, miközben az eredmények továbbra is a távolságábrázolástól és a kapcsolódási szabálytól függenek.

Mély merülés

A hierarchikus klaszterezés a megfigyelések közötti kapcsolatokat reprezentálja több szinten, ahelyett, hogy csak egy partíciót hozna létre. Az agglomeratív klaszterezésben minden megfigyelés a saját klaszterében kezdődik. Az algoritmus ismételten összevonja a legközelebbinek ítélt klaszterpárt egy kapcsolódási szabály szerint, amíg egy klaszter marad, vagy el nem éri a leállási feltételt. A megosztó módszerek egy csoporttal kezdődnek, és felosztják azt, bár az agglomeratív megközelítések gyakoribbak. A kapcsolat határozza meg a klaszterek közötti távolságot. Az egyszeri kötés a minimális páronkénti távolságot veszi igénybe, amely közeli pontok láncán keresztül képes összekapcsolni a hosszúkás csoportokat. A teljes összekapcsolás a maximális páronkénti távolságot veszi igénybe, előnyben részesítve a szűkebb csoportokat, de reagál a távoli tagokra. Az átlagos kapcsolat a páronkénti távolságokat átlagolja. Az osztálykapcsolat egyesíti a klasztereket, hogy minimalizálja a klaszteren belüli négyzetösszeg növekedését, és az euklideszi geometriához van kötve. Ezek a választások ugyanazon megfigyelések alapján különböző fákhoz vezethetnek. A dendrogram megjeleníti a hierarchiát. A levelek a megfigyeléseket jelentik, az elágazások pedig azt mutatják, hogy mely klaszterek egyesülnek, és milyen távolságra vagy kapcsolódási költségekre. A fa kiválasztott magasságban történő kivágása lapos csomósodást hoz létre; a magasság nem automatikusan statisztikai szignifikancia küszöb. A nagy függőleges hézagok kivágásra utalhatnak, de a stabilitás, a csoport hasznossága és a tartományi kontextus is számít. A dendrogramok olvashatatlanná válhatnak nagy adatkészletek esetén, és a megvalósítások eltérőek lehetnek a kapcsolatkezelésben. A távolságok és a méretezés erősen befolyásolja az eredményt. Egy sokkal nagyobb numerikus tartománnyal rendelkező jellemzők uralhatják az euklideszi távolságot, hacsak a méretezés nem megfelelő. A módszer számításilag költséges lehet nagy adathalmazok esetén, és sok agglomerációs eljárás természetesen nem tud új megfigyeléseket rendelni egy meglévő fához külön kiterjesztés nélkül. Válassza ki az adatoknak megfelelő távolságot és kapcsolatot, majd mérje fel az érzékenységet ezekre a döntésekre. A hierarchia egy meghatározott geometria szerinti leíró szerkezet, nem annak bizonyítéka, hogy a természet egyetlen helyes csoporthalmazt tartalmaz.

Valós megvalósítás

Egy hipotetikus csapat ügyfelenként egy klaszterrel kezd, és átlagos kapcsolatot alkalmaz, és minden lépésben összevonja a legkisebb átlagos fürttávolsággal rendelkező párt.

A dendrogram két nagy ágat mutat, amelyek sokkal nagyobb magasságban egyesülnek, mint a korábbi csatlakozások. E magasság alatti vágás két csoportot eredményez, de a választott vágásnak az elemzési cél szempontjából is értelmesnek kell lennie.

Egy elemző összehasonlítja az egyetlen kapcsolatot, amely a legközelebbi párt használja a csoportok között, a teljes kapcsolással, amely a legtávolabbi párt használja. Az egyetlen láncszem alatti láncolási minta összeköthet egy hosszú ponthidat.

A kutató a távolságok kiszámítása előtt szabványosítja a változókat, mivel az életkor években és a dollárban kifejezett jövedelem egyébként összehasonlíthatatlan numerikus skálákon járul hozzá.

A hierarchikus klaszterezés jövője

A hierarchikus klaszterezés könnyebben áttekinthető, ha a jelentés párosítja a dendrogramot a pontos távolsággal, méretezési és kapcsolódási lehetőségekkel, valamint a klaszterek összefoglalásával a jelölt kivágásoknál. Az elemzők összehasonlíthatják a bootstrap minták és a kis előfeldolgozási változtatások elfogadható vágásait, hogy megnézzék, megmaradnak-e a csoportok. Nagy adatok esetén a mintavételezett dendrogramok vagy a skálázható közelítések segíthetnek, miközben egyértelműen meg kell jegyezni, hogy milyen struktúrát foglaltunk össze. Hasznos következő lépés annak ellenőrzése, hogy a csoportok támogatják-e a valódi döntést vagy a nyomon követési elemzést. A vizuális ágak szétválasztását önmagában nem szabad a természetes kategóriák bizonyítékaként bemutatni.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Hierarchical Clustering quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a hierarchikus klaszterezés?

A hierarchikus klaszterezés csoportok egymásba ágyazott sorozatát építi fel, általában a legközelebbi klaszterek ismételt összevonásával egy agglomerációs eljárásban. A dendrogram rögzíti az összevonási sorrendet és a kapcsolódási magasságokat, lehetővé téve az elemzők számára, hogy megvizsgáljanak több fürtvágást, miközben az eredmények továbbra is a távolságábrázolástól és a kapcsolódási szabálytól függenek.

Milyen sorrendet épít fel az agglomeratív hierarchikus klaszterezés?

Az agglomerációs módszerek egytagú klaszterekkel kezdődnek, és lépésről lépésre egyesítik a párokat.

Melyik kapcsolat használja a legtávolabbi kereszt-klaszterpárt?

A teljes összekapcsolás a maximális távolságot veszi igénybe a két klaszter tagjai között.

Mit kódol a dendrogram egyesülési magassága?

A magasság a kapcsolódási kritérium értékét tükrözi, amikor csoportok csatlakoznak, nem pedig önmagában a valószínűséget.

Miért lehet hasznos a dendrogram magasságának nagy ugrása?

Egy nagy hiányosság motiválhatja a jelöltet, de ellenőrizni kell a stabilitást és a hasznosságot.

Miért hozhat létre egyetlen kapcsolat láncolási mintát?

Mivel a legközelebbi kereszt-klaszterpárt veszi figyelembe, egymást követő helyi hidak csatlakozhatnak egy lánchoz.