LegközelebbKövetkező útmutató
Bootstrap újramintavételezése
Műszaki
Műszaki ÚTMUTATÓ
Class imbalance is when one outcome vastly outnumbers another — like 99.9% legitimate transactions versus 0.1% fraud — which tricks models into ignoring the rare but important class.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Resampling rebalances the training data so the model actually learns to spot the minority.
Ha az osztályok torzak, a modell 99,9%-os pontosságot érhet el, ha mindig megjósolja a többséget, és soha egyetlen csalást sem kap el, ami haszontalan. Az újramintavételezés kétféle módon rögzíti a képzési eloszlást. A túlmintavétel megkettőzi vagy szintetizálja a kisebbségi példákat – a klasszikus SMOTE (Synthetic Minority Over-sampling Technique) új pontokat hoz létre a kisebbségi minta és a legközelebbi kisebbségi szomszédok közötti interpolációval, ahelyett, hogy másolná őket. Az alulmintavételezés ehelyett elveti a többségi példákat (véletlenszerűen vagy intelligensen olyan módszerekkel, mint a Tomek linkek vagy a NearMiss), hogy kiegyenlítse a dolgokat, az adatok kidobása árán. Az adatok érintését elkerülő alternatívák közé tartozik az osztálysúlyozás (a veszteségfüggvényben a kisebbségi hibák fokozottabb büntetése) és a döntési küszöb edzés utáni módosítása.
A hitelkártya-csalás észlelőjének betanítása, ahol a valódi csalás jóval kevesebb, mint a tranzakciók 1%-a, a SMOTE használata a ritka csalási esetek felerősítésére
Egy olyan ritka betegség orvosi modelljének felépítése, amely a betegek csak néhány százalékában fordul elő, osztálysúlyok alkalmazása, így a kihagyott esetek súlyos büntetést kapnak.
Hibás tételek észlelése egy olyan gyártósoron, ahol szinte minden termék átmegy az ellenőrzésen, alulmintavétel a „jó” cikkekből a képzés egyensúlya érdekében
Ritka hálózati behatolások megjelölése a normál forgalom által dominált kiberbiztonsági naplókban, pontosság helyett Precision-Recall AUC-vel értékelve
Az újramintavételezés egyre inkább automatizálódik az ML folyamatokon belül, és az olyan könyvtárak, mint az egyensúlytalan tanulás közvetlenül integrálódnak a keresztellenőrzésbe. A kutatás a költségérzékeny tanulás és a testre szabott veszteségi függvények irányába tolódik el – mint például a fókuszvesztés, amely a könnyű többségi példákat lenyomja –, amelyek gyakran felülmúlják a mély hálózatokon végzett nyers újramintavételezést. A táblázatos és képi adatokhoz a valósághű kisebbségi mintákat szintetizáló generatív modellek a SMOTE-stílusú interpoláció kifinomultabb utódjaként jelennek meg.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az osztályok kiegyensúlyozatlansága az, amikor az egyik eredmény nagymértékben meghaladja a másikat – például a jogszerű tranzakciók 99,9%-a a 0,1%-os csalással szemben –, ami ráveszi a modelleket, hogy figyelmen kívül hagyják a ritka, de fontos osztályt. Az újramintavételezés újraegyensúlyozza a betanítási adatokat, így a modell ténylegesen megtanulja felismerni a kisebbséget.
Ha az esetek 99,9%-a negatív, akkor egy olyan modell, amely mindig negatívat jósol, 99,9%-os pontosságot kap, miközben nulla pozitívat kap, tehát a pontosság elrejti a ritka osztály teljes meghibásodását.
A SMOTE (Synthetic Minority Over-sampling Technique) új kisebbségi példákat hoz létre egy kisebbségi pont és a legközelebbi kisebbségi szomszédok közötti interpolációval, ahelyett, hogy egyszerűen megkettőzné őket.
Az osztálysúlyozás érintetlenül hagyja az adatokat, és ehelyett a veszteségfüggvényt erősebben bünteti a kisebbségi osztály hibáiért.
A felosztás előtti újramintavételezés lehetővé teszi, hogy közel azonos kisebbségi pontok jelenjenek meg mind a vonat-, mind a tesztkészletekben, információszivárogva és túlságosan optimista, irreális teljesítményt produkálva.
Az alulmintavétel kiegyensúlyozza az osztályokat a többségi példák kidobásával, ami elvetheti az informatív adatokat, és ronthatja a modell azon képességét, hogy megtanulja a többségi osztályt.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Bootstrap újramintavételezése
Műszaki