VolgendeVolgende gids
Vertragingsfuncties voor tijdreeksprognoses
Technisch
Technische GIDS
Functieselectie kiest een subset van invoervariabelen voor een model, wat het leren kan vereenvoudigen en de resultaten gemakkelijker te inspecteren kan maken.
Luister naar deze gidsAI-verteld · ~3 min
Filter-, wrapper- en embedded-methoden maken die keuze op verschillende manieren, met verschillende kosten en risico's van overfitting.
Functieselectie behoudt enkele invoervariabelen en sluit andere uit. Het verschilt van feature-extractie, waarbij input wordt omgezet in nieuwe representaties, zoals hoofdcomponenten. Selectie kan de meet- of gevolgtrekkingskosten verlagen, een model vereenvoudigen en soms de generalisatie verbeteren wanneer irrelevante of overbodige variabelen de leerling afleiden. Het garandeert geen betere nauwkeurigheid: een weggegooide variabele kan een nuttig signaal bevatten, vooral door interacties. Filtermethoden scoren variabelen met behulp van criteria die onafhankelijk zijn van de uiteindelijke schatter. Voorbeelden hiervan zijn variantiedrempels en univariate tests of wederzijdse informatie tussen één kenmerk en het doel. Ze zijn vaak goedkoop, maar bij een univariate score kan een kenmerk ontbreken dat er alleen toe doet in combinatie met een ander kenmerk. Een correlatiefilter kan ook een van de twee redundante ingangen verwijderen zonder te weten welke nuttiger is voor het uiteindelijke model. Wrapper-methoden evalueren kandidaat-subsets door een schatter te fitten. Recursieve feature-eliminatie past herhaaldelijk op een model, rangschikt features en verwijdert enkele voordat ze opnieuw worden aangepast. Dit kan het gedrag van de schatter directer weerspiegelen dan een eenvoudig filter, maar herhaaldelijk aanpassen kost tijd en kan te veel passen als de selectie wordt beoordeeld op basis van dezelfde gegevens die worden gebruikt om de prestaties te rapporteren. Ingebedde methoden voeren selectie uit tijdens het aanpassen van modellen. L1-geregulariseerde lineaire modellen kunnen coëfficiënten exact op nul zetten; Op bomen gebaseerde methoden bieden op splitsen gebaseerde belangrijkheidsmetingen die de selectie kunnen begeleiden. Deze metingen gaan gepaard met aannames en vooroordelen, en mogen dus niet als universele waarheid worden behandeld. Gecorreleerde kenmerken kunnen het belang verdelen of elkaar vervangen. De gehele selectieprocedure hoort thuis in het trainingsproces voor evaluatie. Als kenmerkscores één keer worden berekend met behulp van alle labels vóór kruisvalidatie, heeft informatie uit validatievouwen de geselecteerde subset al beïnvloed. Deze lekkage kan de gemeten prestaties optimistisch maken. Vergelijk de volledige pijplijn, inclusief selectie, met behulp van de juiste splitsingen. Houd naast de scores ook de domeinbeperkingen, de beschikbaarheid op het moment van de voorspelling, de eerlijkheid en de meetkosten in het oog.
Een tekstclassificator verwijdert kolommen met binaire termaanwezigheid die constant zijn in de trainingsdocumenten. Dit labelvrije variantiefilter elimineert invoer die deze trainingsvoorbeelden niet onderscheidt.
Een datawetenschapper gebruikt recursieve feature-eliminatie met kruisvalidatie om subsets te vergelijken terwijl hij herhaaldelijk een gekozen schatter aanpast.
Een schaars logistiek model dat met een L1-straf is getraind, brengt sommige coëfficiënten naar nul, waardoor een ingebedde selectie ontstaat als onderdeel van de aanpassing.
Een medische dataset houdt de selectie van kenmerken binnen elke trainingsvouw bij, zodat uitgelichte voorbeelden geen invloed kunnen hebben op welke variabelen worden gekozen.
Naarmate datasets groter worden en voorspellingssystemen onder strengere beperkingen op het gebied van latentie of databeheer werken, kan selectie naast voorspellende prestaties in toenemende mate ook operationele doelen dienen. Teams kunnen de kosten van het verzamelen van een veld afwegen, het risico dat het bij gevolgtrekking niet beschikbaar is en de moeilijkheid om het gebruik ervan uit te leggen. Geautomatiseerde pijplijnen kunnen selectiestabiliteit en fold-local evaluatie rapporteren, maar deze diagnostiek is nog steeds afhankelijk van representatieve gegevens en verstandige doelstellingen. Functieselectie zal een modelkeuze blijven die domeinherziening vereist, vooral wanneer variabelen gezamenlijk optreden of gevoelige informatie bevatten.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Functieselectie kiest een subset van invoervariabelen voor een model, wat het leren kan vereenvoudigen en de resultaten gemakkelijker te inspecteren kan maken. Filter-, wrapper- en embedded-methoden maken die keuze op verschillende manieren, met verschillende kosten en risico's van overfitting.
Selectie kiest originele variabelen; PCA vormt nieuwe richtingen als kenmerktransformatie.
Een kenmerk kan weinig marginale associatie hebben, maar toch bijdragen in combinatie met een andere variabele.
RFE maakt gebruik van herhaalde schatteraanpassingen om functies te rangschikken en te verwijderen.
Het passende doel van het model zelf zorgt voor spaarzaamheid, dus is selectie ingebed.
Selectie met behulp van labels uit validatievouwen lekt informatie naar modelontwikkeling.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Vertragingsfuncties voor tijdreeksprognoses
Technisch