Functieselectiemethoden

Functieselectie behoudt enkele invoervariabelen en sluit andere uit. Het verschilt van feature-extractie, waarbij input wordt omgezet in nieuwe representaties, zoals hoofdcomponenten. Selectie kan de meet- of gevolgtrekkingskosten verlagen, een model vereenvoudigen en soms de generalisatie verbeteren wanneer irrelevante of overbodige variabelen de leerling afleiden. Het garandeert geen betere nauwkeurigheid: een weggegooide variabele kan een nuttig signaal bevatten, vooral door interacties. Filtermethoden scoren variabelen met behulp van criteria die onafhankelijk zijn van de uiteindelijke schatter. Voorbeelden hiervan zijn variantiedrempels en univariate tests of wederzijdse informatie tussen één kenmerk en het doel. Ze zijn vaak goedkoop, maar bij een univariate score kan een kenmerk ontbreken dat er alleen toe doet in combinatie met een ander kenmerk. Een correlatiefilter kan ook een van de twee redundante ingangen verwijderen zonder te weten welke nuttiger is voor het uiteindelijke model. Wrapper-methoden evalueren kandidaat-subsets door een schatter te fitten. Recursieve feature-eliminatie past herhaaldelijk op een model, rangschikt features en verwijdert enkele voordat ze opnieuw worden aangepast. Dit kan het gedrag van de schatter directer weerspiegelen dan een eenvoudig filter, maar herhaaldelijk aanpassen kost tijd en kan te veel passen als de selectie wordt beoordeeld op basis van dezelfde gegevens die worden gebruikt om de prestaties te rapporteren. Ingebedde methoden voeren selectie uit tijdens het aanpassen van modellen. L1-geregulariseerde lineaire modellen kunnen coëfficiënten exact op nul zetten; Op bomen gebaseerde methoden bieden op splitsen gebaseerde belangrijkheidsmetingen die de selectie kunnen begeleiden. Deze metingen gaan gepaard met aannames en vooroordelen, en mogen dus niet als universele waarheid worden behandeld. Gecorreleerde kenmerken kunnen het belang verdelen of elkaar vervangen. De gehele selectieprocedure hoort thuis in het trainingsproces voor evaluatie. Als kenmerkscores één keer worden berekend met behulp van alle labels vóór kruisvalidatie, heeft informatie uit validatievouwen de geselecteerde subset al beïnvloed. Deze lekkage kan de gemeten prestaties optimistisch maken. Vergelijk de volledige pijplijn, inclusief selectie, met behulp van de juiste splitsingen. Houd naast de scores ook de domeinbeperkingen, de beschikbaarheid op het moment van de voorspelling, de eerlijkheid en de meetkosten in het oog.