LegközelebbKövetkező útmutató
Kocka együttható és szegmentációs mérőszámok
Műszaki
Műszaki ÚTMUTATÓ
A Matthews-korrelációs együttható vagy az MCC összegzi, hogy a megjósolt osztálycímkék mennyire egyeznek a tényleges címkékkel, miközben figyelembe veszi a zavaró mátrix minden celláját.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Hasznos, ha az osztályok mérete eltér, és a nagy pontossági pontszám elrejti a kevésbé gyakori osztály hibáit.
Egy osztályozó sikeresnek tűnhet, ha ismételten kiválasztja a közös osztályt. Képzeljen el egy tesztkészletet, amely 990 legitim üzenetet és 10 spam üzenetet tartalmaz. A jogos előrejelzés minden üzenetre 99%-os pontosságot biztosít, de a szűrő nem fogja el a spamet. Ez az osztálykiegyensúlyozatlanság konstruált példája, nem jelentett teljesítményeredmény. Az MCC segít felmérni az előrejelzések és az eredmények közötti kapcsolatot mindkét osztály helyes és helytelen besorolásával. A bináris zűrzavarmátrixban az igazi pozitívumok és a valódi negatívumok helyes döntések; A hamis pozitív és a hamis negatív a kétféle hiba. A pozitívhoz közeli pontszám erős egyetértést jelez. A nulla azt jelzi, hogy nincs korreláció, a negatív értékek pedig fordított összefüggést jeleznek. Mindkét bináris osztály jelenléte esetén a tökéletes megfordítás negatívat ad. Tekintsünk egy másik hipotetikus osztályozót 40 valódi pozitív, 40 valódi negatív és 10 hibával. Pontossága 80%, MCC-je 0,6. Ezek az értékek ugyanazokat az előrejelzéseket írják le különböző skálákkal. A 0,6-os MCC nem jelenti azt, hogy az esetek 60%-át helyesen osztályozták. Az Ügyfélközpont nem dönti el, hogy egy hiba mennyibe kerül. Egy elmulasztott géphiba és egy szükségtelen ellenőrzés nagyon eltérő következményekkel járhat. Jelentse a zavaros mátrixot és a vonatkozó osztályspecifikus mérőszámokat az Ügyfélközpont mellett, majd válasszon egy működési küszöböt az érvényesítési adatok és a tényleges döntési költségek felhasználásával. A Scikit-learn matthews_corrcoef-et biztosít a bináris és többosztályú címkékhez. A mérőszám az előre jelzett osztályokon működik, így nem értékeli, hogy az állítólagos 90%-os valószínűség megbízható-e. A degenerált esetek, például csak egy osztály előrejelzése, szintén óvatosságot igényelnek: a bináris képlet nulla nevezővel rendelkezik, és a könyvtár numerikus konvencióját nem szabad összetéveszteni egy sikeres osztályozóval.
Egy 1000 üzenetből álló hipotetikus halmazból 990 legitim. A minden üzenetet jogosnak minősítő szűrő eléri a 99%-os pontosságot, miközben nem észlel spamet, és megmutatja, miért van szükség további kontextusra a pontossághoz.
Egy játékosztályozónak 40 valódi pozitívja, 40 valódi negatívja, 10 hamis pozitívja és 10 hamis negatívja van. Az MCC értéke 0,6, a teljes zavaros mátrixból számítva.
Egy csapat két hibaérzékelőt hasonlít össze rögzített működési küszöbök mellett. Az MCC mellett azt jelenti, hogy az egyes érzékelők hány hibás elemet hagynak ki, mivel ezeknek a hiányosságoknak meghatározott működési költségük van.
Egy elemző a scikit-learn's matthews_corrcoef-et használja a megfigyelt és előre jelzett címkéken. Külön értékelik a modell valószínűségi megbízhatóságát, ahelyett, hogy az MCC-t kalibrációs pontszámként kezelnék.
Az automatizált értékelési jelentések hasznosabbá tehetik az Ügyfélközpontot azáltal, hogy minden pontszámot a pontos adatkészlethez, címkedefinícióhoz és döntési küszöbhöz kapcsolnak. A csapatnak képesnek kell lennie arra, hogy az összesítő számtól a hibákért felelős esetek felé haladjon, miközben tiszteletben tartja az adatok hozzáférés-szabályozását. A jövőbeni modell-összehasonlításoknak tartalmazniuk kell az osztályok gyakoriságának és a releváns alcsoportok eredményeinek megváltoztatását is. Egyetlen megállapodásra vonatkozó statisztika sem tudja meghatározni, hogy megéri-e a telepítés. A gyakorlati javulás abból adódik, hogy egy reprodukálható pontszámot kombinálunk azzal a bizonyítékkal, hogy mely hibák fordulnak elő, és az emberek hogyan reagálnak rájuk.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Matthews-korrelációs együttható vagy az MCC összegzi, hogy a megjósolt osztálycímkék mennyire egyeznek a tényleges címkékkel, miközben figyelembe veszi a zavaró mátrix minden celláját. Hasznos, ha az osztályok mérete eltér, és a nagy pontossági pontszám elrejti a kevésbé gyakori osztály hibáit.
Mindig a többségi osztály kiválasztása nagy pontosságot eredményezhet, miközben hiányzik az osztály minden példája, amelyet a szűrőnek észlelnie kell.
A számláló 1500, a nevező pedig 2500, így az MCC 0,6.
A pontosság a helyes előrejelzések hányadát fejezi ki. Az Ügyfélközpont más képletet és léptéket használ.
A tényleges és az előre jelzett bináris címkék közötti tökéletes fordított kapcsolat negatív MCC-t eredményez.
Az MCC összefoglalja az asszociációt anélkül, hogy kódolná a hamis pozitív és hamis negatív eredmények konkrét következményeit.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Kocka együttható és szegmentációs mérőszámok
Műszaki