Műszaki ÚTMUTATÓ

Matthews-korrelációs együttható

A Matthews-korrelációs együttható vagy az MCC összegzi, hogy a megjósolt osztálycímkék mennyire egyeznek a tényleges címkékkel, miközben figyelembe veszi a zavaró mátrix minden celláját.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Matthews-korrelációs együttható jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Hasznos, ha az osztályok mérete eltér, és a nagy pontossági pontszám elrejti a kevésbé gyakori osztály hibáit.

Mély merülés

Egy osztályozó sikeresnek tűnhet, ha ismételten kiválasztja a közös osztályt. Képzeljen el egy tesztkészletet, amely 990 legitim üzenetet és 10 spam üzenetet tartalmaz. A jogos előrejelzés minden üzenetre 99%-os pontosságot biztosít, de a szűrő nem fogja el a spamet. Ez az osztálykiegyensúlyozatlanság konstruált példája, nem jelentett teljesítményeredmény. Az MCC segít felmérni az előrejelzések és az eredmények közötti kapcsolatot mindkét osztály helyes és helytelen besorolásával. A bináris zűrzavarmátrixban az igazi pozitívumok és a valódi negatívumok helyes döntések; A hamis pozitív és a hamis negatív a kétféle hiba. A pozitívhoz közeli pontszám erős egyetértést jelez. A nulla azt jelzi, hogy nincs korreláció, a negatív értékek pedig fordított összefüggést jeleznek. Mindkét bináris osztály jelenléte esetén a tökéletes megfordítás negatívat ad. Tekintsünk egy másik hipotetikus osztályozót 40 valódi pozitív, 40 valódi negatív és 10 hibával. Pontossága 80%, MCC-je 0,6. Ezek az értékek ugyanazokat az előrejelzéseket írják le különböző skálákkal. A 0,6-os MCC nem jelenti azt, hogy az esetek 60%-át helyesen osztályozták. Az Ügyfélközpont nem dönti el, hogy egy hiba mennyibe kerül. Egy elmulasztott géphiba és egy szükségtelen ellenőrzés nagyon eltérő következményekkel járhat. Jelentse a zavaros mátrixot és a vonatkozó osztályspecifikus mérőszámokat az Ügyfélközpont mellett, majd válasszon egy működési küszöböt az érvényesítési adatok és a tényleges döntési költségek felhasználásával. A Scikit-learn matthews_corrcoef-et biztosít a bináris és többosztályú címkékhez. A mérőszám az előre jelzett osztályokon működik, így nem értékeli, hogy az állítólagos 90%-os valószínűség megbízható-e. A degenerált esetek, például csak egy osztály előrejelzése, szintén óvatosságot igényelnek: a bináris képlet nulla nevezővel rendelkezik, és a könyvtár numerikus konvencióját nem szabad összetéveszteni egy sikeres osztályozóval.

Valós megvalósítás

Egy 1000 üzenetből álló hipotetikus halmazból 990 legitim. A minden üzenetet jogosnak minősítő szűrő eléri a 99%-os pontosságot, miközben nem észlel spamet, és megmutatja, miért van szükség további kontextusra a pontossághoz.

Egy játékosztályozónak 40 valódi pozitívja, 40 valódi negatívja, 10 hamis pozitívja és 10 hamis negatívja van. Az MCC értéke 0,6, a teljes zavaros mátrixból számítva.

Egy csapat két hibaérzékelőt hasonlít össze rögzített működési küszöbök mellett. Az MCC mellett azt jelenti, hogy az egyes érzékelők hány hibás elemet hagynak ki, mivel ezeknek a hiányosságoknak meghatározott működési költségük van.

Egy elemző a scikit-learn's matthews_corrcoef-et használja a megfigyelt és előre jelzett címkéken. Külön értékelik a modell valószínűségi megbízhatóságát, ahelyett, hogy az MCC-t kalibrációs pontszámként kezelnék.

Matthews-korrelációs együttható jövője

Az automatizált értékelési jelentések hasznosabbá tehetik az Ügyfélközpontot azáltal, hogy minden pontszámot a pontos adatkészlethez, címkedefinícióhoz és döntési küszöbhöz kapcsolnak. A csapatnak képesnek kell lennie arra, hogy az összesítő számtól a hibákért felelős esetek felé haladjon, miközben tiszteletben tartja az adatok hozzáférés-szabályozását. A jövőbeni modell-összehasonlításoknak tartalmazniuk kell az osztályok gyakoriságának és a releváns alcsoportok eredményeinek megváltoztatását is. Egyetlen megállapodásra vonatkozó statisztika sem tudja meghatározni, hogy megéri-e a telepítés. A gyakorlati javulás abból adódik, hogy egy reprodukálható pontszámot kombinálunk azzal a bizonyítékkal, hogy mely hibák fordulnak elő, és az emberek hogyan reagálnak rájuk.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Matthews Correlation Coefficient quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a Matthews-korrelációs együttható?

A Matthews-korrelációs együttható vagy az MCC összegzi, hogy a megjósolt osztálycímkék mennyire egyeznek a tényleges címkékkel, miközben figyelembe veszi a zavaró mátrix minden celláját. Hasznos, ha az osztályok mérete eltér, és a nagy pontossági pontszám elrejti a kevésbé gyakori osztály hibáit.

Egy szűrő mind az 1000 üzenetet jogosnak minősít, ha 990 valóban jogos. 99%-os pontossága miért nem elegendő bizonyíték a spamek hasznos felismerésére?

Mindig a többségi osztály kiválasztása nagy pontosságot eredményezhet, miközben hiányzik az osztály minden példája, amelyet a szűrőnek észlelnie kell.

Melyik érték adódik az útmutató játékzavaros mátrixából, 40 valódi pozitív, 40 valódi negatív és 10 hibával?

A számláló 1500, a nevező pedig 2500, így az MCC 0,6.

Egy jelentés a 0,6-os Ügyfélközpontot úgy értelmezi, hogy „az esetek 60%-a volt helyes”. Hogyan kell ezt az értelmezést korrigálni?

A pontosság a helyes előrejelzések hányadát fejezi ki. Az Ügyfélközpont más képletet és léptéket használ.

Mindkét osztályt tartalmazó bináris adatok esetén az osztályozó minden címkét tökéletesen megfordít. Melyik Ügyfélközpont-érték írja le ezt a kapcsolatot?

A tényleges és az előre jelzett bináris címkék közötti tökéletes fordított kapcsolat negatív MCC-t eredményez.

A gyár a kihagyott hibákat másként értékeli, mint a szükségtelen ellenőrzéseket. Milyen további bizonyítékokra van szükség az MCC mellett?

Az MCC összefoglalja az asszociációt anélkül, hogy kódolná a hamis pozitív és hamis negatív eredmények konkrét következményeit.