Alapok ÚTMUTATÓ

Zavart mátrixok

A zavaros mátrix egy egyszerű táblázat, amely az osztályozó előrejelzéseit minden osztálynál helyes és helytelen számokra bontja.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A zavaros mátrixok jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez a nyers eredménytábla, amelyből szinte minden más osztályozási mérőszám kiszámításra kerül.

Mély merülés

A zavaros mátrix egy rács, amely összehasonlítja az előre jelzett címkéket a tényleges címkékkel. A bináris osztályozáshoz négy cella van: igaz pozitívak (helyesen előrejelzett pozitív), valódi negatívok (helyesen jósolt negatív), hamis pozitívak (a hibásan pozitívnak jelölt negatívok, „I. típusú hiba”) és hamis negatívok (kihagyott pozitív értékek, „II-es típusú hiba”). Ebből a négy számból származtatja a pontosságot ((TP+TN)/összesen), a precizitást (TP/(TP+FP)), a felidézést vagy érzékenységet (TP/(TP+FN)), a specifikusságot (TN/(TN+FP)) és az F1 pontszámot (a pontosság és az előhívás harmonikus átlaga). Kettőnél több osztályra vonatkozó problémák esetén a mátrix N-szerszámúvá válik, ahol az átló helyes előrejelzéseket tartalmaz, és az átlón kívüli cellák pontosan megmutatják, hogy mely osztályok keverednek össze másokkal.

Valós megvalósítás

Annak diagnosztizálása, hogy hol hibásodik meg egy képosztályozó, ha látja, hogy gyakran összetéveszti a husky-kat a farkasokkal a nem átlós cellákban

Egy orvosi szűrőeszköz auditálása a hamis negatív eredmények – a modell által egészségesnek nyilvánított betegségben szenvedő betegek – vizsgálatával

Két olyan e-mail spamszűrő összehasonlítása, amelyek azonos pontossággal rendelkeznek, de abban különböznek, hogy hány valódi e-mailt blokkolnak tévesen (hamis pozitív)

Egy többosztályú, kézzel írott számjegy felismerő értékelése annak megállapítására, hogy a 4-eseket és a 9-eseket leggyakrabban összetévesztik

A zavaros mátrixok jövője

A zavaros mátrixok továbbra is alapvetőek maradnak, de az eszközök gazdagabbá teszik őket: interaktív, normalizált hőtérképek, osztályonkénti lebontások nagy címkekészletekhez és költségsúlyozott mátrixok, amelyek megszorozzák az egyes hibatípusokat a valós büntetéssel. A méltányossági audit során a szakemberek demográfiai alcsoportonként külön tévedési mátrixokat számítanak ki, hogy felfedjék az egyenlőtlen hibaarányokat. Várható a folyamatos integráció a modell-irányítópultokba, ahol egy cellára kattintva megjelennek a ténylegesen rosszul besorolt ​​példák ellenőrzés céljából.

A gyakorlatba ültetés

Miért számít

  • Tisztább döntések. Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől.
  • Költség és költségvetés. Feltehet jobb végrehajtási kérdéseket, mielőtt pénzt vagy időt költene.
  • Csapat és munkafolyamat. A közös tudással rendelkező csapatok jobb döntéseket hoznak a termékekkel, irányelvekkel és tanulással kapcsolatban.

Vigyázz

  • A különböző csapatok eltérően használhatják ugyanazt a kifejezést, ezért korán határozza meg a hatókört.
  • A benchmarkok erősnek tűnhetnek, miközben a valós teljesítmény egyenetlen.
  • Az adatminőségi és értékelési tervek figyelmen kívül hagyása gyakran törékeny eredményekhez vezet.

Következő lépések

  1. Kezdje a kívánt eredmény egyszerű nyelvű meghatározásával.
  2. A tesztelés előtt válasszon egy sikermutatót és egy hibafeltételt.
  3. Futtasson egy kis pilotot reprezentatív adatokkal, ne egy csiszolt demókészlettel.
  4. Dokumentálja, ahol a Confusion Matrices segít, és hol jobbak az egyszerűbb módszerek.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Confusion Matrices quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a zavaros mátrix?

A zavaros mátrix egy egyszerű táblázat, amely az osztályozó előrejelzéseit minden osztálynál helyes és helytelen számokra bontja. Ez a nyers eredménytábla, amelyből szinte minden más osztályozási mérőszám kiszámításra kerül.

Egy bináris zavaros mátrixban mit jelent a hamis negatív?

Az álnegatív egy tényleges pozitívum, amelyet a modell figyelmen kívül hagyott azzal, hogy negatívnak jelölte – például egy beteg beteget egészségesnek nyilvánítottak.

Melyik mérőszám méri a modell által helyesen azonosított tényleges pozitívumok arányát?

A visszahívás (érzékenységnek vagy valódi pozitív aránynak is nevezik) TP / (TP + FN) – a modell által elkapott valós pozitívumok aránya.

Mit jelentenek az átlós cellák egy 5 osztályos probléma zavarmátrixában?

Egy N-szer N mátrixban az átló azokat az eseteket tartalmazza, amikor a megjósolt osztály megegyezik a valós osztállyal – azaz helyes előrejelzésekkel.

Miért lehet a pontosság önmagában félrevezető, ha nincs zavaró mátrix?

Két azonos pontosságú modell nagyon eltérően oszthatja el hibáit; a zavaros mátrix felfedi, hogy a hibák többnyire téves riasztások vagy kihagyott pozitív értékek.

Melyik két mérőszám harmonikus átlaga az F1 pontszám?

Az F1 a pontosságot és a visszahívást egy számba ötvözi a harmonikus átlag használatával, ami kiküszöböli a kettő közötti nagy egyensúlyhiányt.