LegközelebbKövetkező útmutató
Tokenizálás és bájtpár kódolás
Műszaki
Műszaki ÚTMUTATÓ
A célkódolás a kategóriát az engedélyezett edzésadatokban az adott kategória esetében megfigyelt eredmények számszerű összegzésével helyettesíti.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ez megkönnyíti a sok különböző értékkel rendelkező kategorikus bemenetek modellezését, de a szivárgás elkerülése érdekében gondosan el kell választani a képzési címkéket.
A kategorikus jellemzők olyan csoportokat írnak le, mint például a telephelyek, beszállítók vagy terméktípusok. A One-hot kódolás minden kategóriához külön jelzőt hoz létre. Számos kategória esetén a célkódolás egy másik reprezentációt kínál: cserélje le az egyes kategóriákat egy eredményösszegzésre, például a regresszió átlagos késleltetésére vagy a bináris osztályozás pozitív eredményének arányára. A hasznos jelzés egyben a kockázat forrása is. Képzelj el egy kategóriát, amely egyszer megjelenik. A simítatlan kategóriaátlag az adott sor eredménye. Ha ez az érték ugyanazon sor előrejelzésének bemenetévé válik, a modell megkapja a választ. Ebben a beállításban az erős edzési teljesítmény eltűnhet új adatok esetén. A keresztillesztés segít biztonságosabb edzési ábrázolások kialakításában. Ossza fel az edzési adatokat hajtásokra, számítsa ki a kategória-összefoglalókat a többi hajtás segítségével, és kódolja a kinyújtott hajtást ezekkel az összegzésekkel. Ismételje meg mindaddig, amíg minden edzéssornak nincs saját hajtáscímkéi nélküli kódolása. A downstream modell tanul ezekből a reprezentációkból. A kiértékelés vagy előrejelzés időpontjában alkalmazza az engedélyezett képzési adatokból tanult leképezéseket. A simítás kevés megfigyeléssel csökkenti a kategóriák befolyását azáltal, hogy összefoglalóikat egy globális képzési átlag felé húzza. Egy ritka depó nem kaphat extrém kódolást kizárólag egy szokatlan kézbesítés miatt. A simítás mértéke olyan modellezési választás, amelyet validálni kell. A Scikit-learn TargetEncoder egy fontos különbséget dokumentál: a fit_transform belső keresztillesztést használ, míg ugyanazon képzési adatok illesztése, majd átalakítása nem nyújt egyenértékű védelmet. Ne feltételezze, hogy minden könyvtár ugyanazt a viselkedést valósítja meg. Tartsa a kódolót a kiértékelési folyamaton belül, határozza meg a nem látott kategóriák kezelésének módját, és módosítsa a felosztási stratégiát, amikor az időrend vagy az ismétlődő entitások nem teszik megfelelővé a szokásos véletlenszerű hajtásokat.
A kézbesítési modell egy raktárt reprezentál a korábbi, a betanítási adatokból kiszámított átlagos késleltetése felhasználásával. Ugyanezt a tanult leképezést alkalmazzák az értékelési rekordokra anélkül, hogy megvizsgálnák azok eredményeit.
Egy hipotetikus simítási szabályban a két 10-es és 20-as kimenetelű kategóriát négy korábbi megfigyeléssel kombinálják 6-os globális átlag mellett. A simított értéket (30 plusz 24) osztják hattal vagy 9-cel.
Egy edzési hajtás egy kategóriát tartalmaz, amely csak egy sorban látható. Ennek a sornak a saját kimeneteléből való kódolása felfedné a címkéjét, így a csapat más hajtásokból állítja össze a képzési reprezentációját.
Egy elemző a scikit-learn TargetEncoder-jét használja egy csővezetékben. Ellenőrzik a dokumentált keresztillesztési viselkedését, ahelyett, hogy azt feltételeznék, hogy az illesztés és a transzformáció egyenértékű a fit_transform paraméterrel.
A kategorikus kódolók továbbra is hasznosak maradnak, ha a működési adatok nagyszámú változó azonosítót tartalmaznak. A csapatok javíthatják a megbízhatóságot az új kategóriák, a ritka kategóriák és az eredményminták változásainak figyelésével. Meg kell tartaniuk a betanítási határértéket és a kódoló verziót is az egyes telepített modellek mellett, hogy az előrejelzés nyomon követhető legyen a használt leképezésre. Az automatizált csővezetékek megkönnyíthetik a szivárgás-ellenőrzést, de a legfontosabb tervezési döntés továbbra is emberi: határozza meg, hogy mely eredmények voltak elérhetők, amikor az előrejelzés készült volna, és gondoskodjon arról, hogy minden származtatott jellemző tiszteletben tartsa ezt a határt.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A célkódolás a kategóriát az engedélyezett edzésadatokban az adott kategória esetében megfigyelt eredmények számszerű összegzésével helyettesíti. Ez megkönnyíti a sok különböző értékkel rendelkező kategorikus bemenetek modellezését, de a szivárgás elkerülése érdekében gondosan el kell választani a képzési címkéket.
Egyetlen megfigyelés esetén a kategória átlaga megegyezik a céljával, és a választ kiszivárogtatja a bemenetbe.
Más hajtások szolgáltatják a kategóriastatisztikát, így a kinyújtott hajtás címkéi nem határozzák meg a reprezentációt.
A számláló 30 plusz négyszer hat, vagyis 54. A nevező kettő plusz négy vagy hat. Az eredmény kilenc.
A kis minták instabil szélsőségeket eredményezhetnek, és a kisimító indulatok hatásukat a szélesebb képzési populációból származó információk felhasználásával.
A dokumentált fit_transform viselkedés magában foglalja a keresztillesztést; illeszkedés, majd transzformáció ugyanazokon a sorokon nem egyenértékű.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Tokenizálás és bájtpár kódolás
Műszaki