Műszaki ÚTMUTATÓ

Softmax regresszió a többosztályos osztályozáshoz

A Softmax regresszió kiterjeszti a logisztikus regressziót egymást kölcsönösen kizáró osztályokra azáltal, hogy minden osztályhoz hozzárendel egy pontszámot, és az összes pontszámot olyan valószínűségekké alakítja, amelyek összege egy.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A Softmax regresszió jövője a többosztályos osztályozáshoz
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Értelmezhető lineáris döntési szabályt ad a pontszámskálán, bár valószínűségi minősége és osztályspecifikus viselkedése még értékelést igényel.

Mély merülés

A bináris logisztikus regresszió során a lineáris pontszámot valószínűséggé alakítjuk. K egymást kölcsönösen kizáró osztályok esetén a softmax regresszió minden osztályhoz egy pontszámot rendel. Minden pontszám a bemenetek lineáris függvénye, és a softmax hatványozza meg ezeket a pontszámokat, és elosztja az összes exponenciált az összegükkel. Ez nemnegatív osztályvalószínűségeket eredményez, amelyek összege egy. Általában az előre jelzett osztály az, amelyik a legnagyobb valószínűséggel, de egy döntési rendszer használhatja a költségeket vagy a felülvizsgálati küszöbértékeket. Tegyük fel, hogy egy hipotetikus háromosztályú esetnek 2, 1 és 0 pontszáma van. Exponenciálisuk megközelítőleg 7,39, 2,72 és 1. Az összeg körülbelül 11,11, tehát a valószínűségek körülbelül 0,665, 0,245 és 0,090. Az értékek összege egy, mert mindegyiket ugyanaz a nevező normalizálja. A pontkülönbség számít: ha minden osztályponthoz ugyanazt az állandót adjuk, a valószínűségek változatlanok maradnak. A tréning jellemzően minimalizálja a multinomiális keresztentrópiát, amelyet log veszteségnek is neveznek, ami megbünteti, ha alacsony valószínűséget rendelnek a megfigyelt osztályhoz. A szabályozási együttható nagysága hozzáadható. Több osztály esetén az implementációk eltérően paraméterezhetik az együtthatókat, és egyes szoftverek egy versus-pihenő stratégiát alkalmaznak bizonyos becslésekhez. Olvassa el a kiválasztott becslő dokumentációját, mielőtt azt feltételezné, hogy minden többosztályú logisztikai modell ugyanazt a célt optimalizálja. A Softmax valószínűségek nincsenek automatikusan kalibrálva. Egy modell helyesen rangsorolhatja a legvalószínűbb osztályt, miközben szisztematikusan túl vagy alul magabiztos. Értékelje az osztályonkénti felidézést és pontosságot, a zavaros mátrixokat, a naplózási veszteséget és a kalibrálást azokon az adatokon, amelyek tükrözik a telepítési populációt. Kiegyensúlyozatlan osztályok esetén az általános pontossági pontszám elrejti a kevésbé gyakori eredmények hibáit. Ellenőrizze azt is, hogy a kimeneti tömbök kategóriasorrendje megegyezik-e a könyvtár osztálycímkéivel. A metódus feltételezi, hogy minden eset egy osztályt kap a modellezett halmazból; A többcímkés problémák, ahol több címke együtt is előfordulhat, eltérő kimeneti megfogalmazást igényelnek.

Valós megvalósítás

Egy hipotetikus növényosztályozó három fajhoz ad pontszámot a levélmérésekből. A Softmax ezeket a pontszámokat olyan valószínűségekre konvertálja, mint például 0,6, 0,3 és 0,1, amelyek összege egy; a legnagyobb valószínűség adja a megjósolt osztályt.

A támogatási osztályozási modell a számlázási, hozzáférési és műszaki kategóriák valószínűségét adja vissza. A bíráló osztályonként vizsgálja a zavartságot, mivel az erős összesített pontosság egy ritka kategória gyenge teljesítményét rejtheti el.

Egy elemző ellenőrzi a scikit-learn előrejelzési_proba kimenetét az osztályok mellett, hogy megbizonyosodjon arról, hogy a valószínűségi oszlopok igazodnak-e a tervezett kategórianevekhez, ahelyett, hogy az oszloppozíció-találatokra hagyatkozna.

A csapatok egy kinyújtott halmazon kalibrálják a többosztályú valószínűségeit, mielőtt felhasználnák őket a kézi ellenőrzés prioritásainak meghatározására. A legnagyobb valószínűségű osztály nem automatikusan jól kalibrált 70%-os előrejelzés.

A Softmax regresszió jövője a többosztályos osztályozáshoz

A többosztályú rendszerek átláthatóbban jelenthetik a valószínűségi minőséget azáltal, hogy az előrejelzéseket osztályonkénti megbízhatósági ellenőrzésekkel és összefoglalókkal párosítják. A csapatoknak el kell dönteniük, hogy a kimenet egyetlen automatikus választást, rangsorolt ​​szűkített listát vagy emberi ellenőrzést eredményez-e, mivel minden használat más hibaköltséggel jár. A megfigyelésnek nyomon kell követnie az osztálykeveréket és a teljesítményt a későbbi időszakokban, különösen akkor, ha a kategóriadefiníciók megváltoznak. A szoftverfejlesztések megkönnyíthetik a diagnosztikai adatok elérését, de a valószínűségeket továbbra is tesztelni kell a reprezentatív eseteken. Egy világos felület bizonytalanságot mutathat anélkül, hogy azt sugallná, hogy egy győztes osztály biztos, pusztán azért, mert az első helyen végzett.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Softmax Regression for Multiclass Classification quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a Softmax regresszió a többosztályos osztályozáshoz?

A Softmax regresszió kiterjeszti a logisztikus regressziót egymást kölcsönösen kizáró osztályokra azáltal, hogy minden osztályhoz hozzárendel egy pontszámot, és az összes pontszámot olyan valószínűségekké alakítja, amelyek összege egy. Értelmezhető lineáris döntési szabályt ad a pontszámskálán, bár valószínűségi minősége és osztályspecifikus viselkedése még értékelést igényel.

Milyen megszorításnak tesznek eleget a softmax valószínűségek egy esetre az összes modellezett osztályban?

A Softmax minden pozitív exponenciális pontszámot eloszt az összességgel, így az osztályok közötti valószínűségek összege egy.

A három osztályú modell 0,6, 0,3 és 0,1 valószínűségeket ad vissza. Melyik osztály a szokásos legnagyobb valószínűségű előrejelzés?

A szokásos előrejelzett osztály a legnagyobb valószínűségű, bár a döntési költségek megváltoztathatják a politikát.

Miért nem változtatja meg a softmax valószínűségeket, ha minden osztály logithoz hozzáadja ugyanazt az állandót?

A c hozzáadásával minden exponenciális megszoroz exp(c)-vel, ami a normalizálás során megszakad.

Mit jelent az összeg az egyhez kimeneti feltételezés a célbeállítással kapcsolatban?

A Softmax kölcsönösen kizárja az osztályvalószínűségeket; a többcímkés eredmények más megfogalmazást igényelnek.

Az osztályozók általános pontossága nagy, de ritka kategória esetében gyenge a visszahívása. Melyik jelentés segít ennek feltárásában?

Az osztályspecifikus mutatók a gyakori osztályok által dominált összesítés által elrejtett hibákat mutatják.