Funkciómérnöki tevékenység
A funkciótervezés a nyers adatok informatív inputokká (szolgáltatásokká) alakításának mestersége, amelyek segítenek a modellnek a tanulásban.
Áttekintés
In classic machine learning it is often the single biggest driver of accuracy, more than the choice of algorithm.
Mély merülés
Egy modell csak az Ön által megadott bemenetekből tud tanulni, és a nyers adatok ritkán érkeznek hasznos formában. A funkciótervezés átalakítja ezt: kivonja a hét napját egy időbélyegből, kiszámítja az ügyfél átlagos vásárlását, számokként kódolja a kategóriákat, az értékeket közös tartományba skálázza, vagy az oszlopokat arányokká kombinálja. Ha jól sikerült, feltárja azokat a mintákat, amelyekre egy algoritmusnak szüksége van, így a nagyszerű funkciókon alapuló egyszerű modell gyakran felülmúlja a nyers adatokon alapuló összetett modellt. Ehhez tartományi ismeretek is szükségesek, mivel ha tudjuk, hogy például a „percenkénti tranzakciók” csalást jeleznek, az hatékony funkciót hoz létre. A klasszikus kockázat az adatszivárgás, amely véletlenül olyan információból épít fel egy funkciót, amely nem lenne elérhető az előrejelzési időpontban, ami megnöveli a teszteredményeket, de meghiúsul a gyártás során. A mély tanulás automatizálja ennek egy részét, de a strukturált/táblázatos problémák továbbra is nagymértékben támaszkodnak rá.
Technikai betekintés
Az általános technikák közé tartozik a normalizálás vagy szabványosítás (a számok skálázása, hogy egyetlen jellemző se domináljon), a kategorikus változók egyszeri vagy célkódolása, a folytonos értékek összerendelése, valamint interakciós vagy összesített jellemzők létrehozása. Kritikus diszciplína az, hogy a transzformációkat (például a skálázó átlagát és a szórását) csak a betanítási adatokra illesztjük, majd alkalmazzuk őket az érvényesítési és tesztkészletekre. A teljes adatkészletre történő kiszámításuk információkat szivárog ki, és túlságosan optimista eredményeket ad, amelyek nem érvényesülnek a telepítés során.
Stratégiai hatás
Tisztább döntések
Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől.
Költség és költségvetés
Feltehet jobb végrehajtási kérdéseket, mielőtt pénzt vagy időt költene.
Csapat és munkafolyamat
A közös tudással rendelkező csapatok jobb döntéseket hoznak a termékekkel, irányelvekkel és tanulással kapcsolatban.
A Feature Engineering jövője
A Deep learning automatikus funkciókivonást kínál a képekhez, hangokhoz és szövegekhez, ahol a hálózatok közvetlenül a nyers bemenetekből tanulják meg a reprezentációkat. Ám a táblázatos és az üzleti adatok esetében, amelyek a legtöbb vállalati adat, továbbra is az átgondolt szolgáltatástervezés a döntő. A terület az automatizálás (AutoML, automatizált funkciók generálása) és az újrafelhasználható „funkciótárak” felé tolódik el, amelyek lehetővé teszik a csapatok számára, hogy egységes, jól tesztelt funkciókat oszthassanak meg a modellek között. Több olyan eszközre számíthat, amely funkciókat javasol, és megvédi a szivárgást, miközben az emberi szakértelem továbbra is elengedhetetlen a legmagasabb értékű szolgáltatásokhoz.
Valós megvalósítás
Csalásészlelés: olyan funkciók származtatása, mint a tranzakciók gyakorisága, az utolsó vásárlás óta eltelt idő és a szokásos helytől való távolság.
Kereslet-előrejelzés: a hét napjának, ünnepnapi jelzőinek és gördülő átlagainak kinyerése a nyers értékesítési időbélyegekből.
Hitelbírálat: a nyers előzményeket olyan arányszámokká alakítja, mint az adósság/jövedelem és a legutóbbi késedelmes fizetések száma.
Ügyféllemorzsolódás: a tevékenységek összesítése olyan funkciókba, mint a bejelentkezések havonta és az utolsó elköteleződés óta eltelt napokban.
Kockázatok és védőkorlátok
A különböző csapatok eltérően használhatják ugyanazt a kifejezést, ezért korán határozza meg a hatókört.
A benchmarkok erősnek tűnhetnek, miközben a valós teljesítmény egyenetlen.
Az adatminőségi és értékelési tervek figyelmen kívül hagyása gyakran törékeny eredményekhez vezet.
Végrehajtási ütemterv
Kezdje a kívánt eredmény egyszerű nyelvű meghatározásával.
A tesztelés előtt válasszon egy sikermutatót és egy hibafeltételt.
Futtasson egy kis pilotot reprezentatív adatokkal, ne egy csiszolt demókészlettel.
Dokumentálja, ahol a Feature Engineering segít, és hol jobbak az egyszerűbb módszerek.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Feature Engineering quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Feature Engineering Pipelines és Data Versioning
Gyakran ismételt kérdések
What is Feature Engineering?
A funkciótervezés a nyers adatok informatív inputokká (szolgáltatásokká) alakításának mestersége, amelyek segítenek a modellnek a tanulásban. A klasszikus gépi tanulásban gyakran ez a legnagyobb hajtóereje a pontosságnak, több, mint az algoritmus kiválasztása.
Mi az a funkciótervezés?
A jellemzőtervezés a bemenetek (szolgáltatások) nyers adatokból történő kialakításáról szól, hogy a modell hasznos mintákat találhasson.
Miért írják le gyakran a funkciótervezést kulcsfontosságúnak a klasszikus gépi tanulásban?
Strukturált adatok esetén a jól megtervezett funkciók gyakran fontosabbak, mint az adott modell, így a nagyszerű funkciókkal rendelkező egyszerű modell nyerhet.
Mit jelent az adatszivárgás a funkciótervezésben?
A szivárgás azt jelenti, hogy egy funkció olyan információkat rejt magában, amelyekkel valójában nem rendelkezne az előrejelzés során, növeli a teszteredményeket, de meghiúsul a gyártásban.
Jellemzők skálázásakor (pl. szabványosítás) hol kell kiszámítani az átlagot és a szórást?
Ha a skálázót csak a képzési adatokra illeszti, majd máshol alkalmazza, megakadályozza a szivárgást, és reális teljesítménybecsléseket ad.
Ezek közül melyik a tipikus jellemző tervezési technika kategorikus adatokhoz?
A kategorikus változókat általában számokká konvertálják one-hot vagy target kódolással, így a modellek használhatják őket.