VolgendeVolgende gids
Online versus offline modelevaluatie
Technisch
Technische GIDS
Er is sprake van scheeftrekking van training/serving wanneer de functies die een model offline leert, verschillen van de functies die het daadwerkelijk in de productie ontvangt, waardoor de nauwkeurigheid stilletjes verloren gaat.
Luister naar deze gidsAI-verteld · ~2 min
Het opsporen en voorkomen van deze mismatch is een van de moeilijkste en belangrijkste taken in het echte machine learning.
Modellen worden 'offline' getraind op grote hoeveelheden historische gegevens en geven vervolgens in realtime voorspellingen 'online' weer. Scheefheid ontstaat wanneer deze twee paden objecten verschillend berekenen. Veelvoorkomende oorzaken: afzonderlijke code (Python-batchjob versus Java-serveerservice) die het subtiel oneens is; tijdlekkage, waarbij offline training per ongeluk informatie gebruikt die nog niet beschikbaar was op het voorspellingstijdstip; en verouderde online functies, waarbij een waarde als 'bestellingen in het afgelopen uur' in de cache wordt opgeslagen en verouderd raakt. Het model ziet er geweldig uit bij offline evaluatie, maar presteert ondermaats bij live omdat de input die het ziet niet langer overeenkomt met datgene waarop het heeft getraind. Het detecteren van scheefheid vereist het vastleggen van de exacte functies die online worden aangeboden en het vergelijken van hun distributies met de trainingsset, terwijl het voorkomen ervan een enkele gedeelde definitie voor beide paden bevordert.
Een app voor het delen van ritten constateert dat het ETA-model live is verslechterd omdat de online functie 'actueel verkeer' gedurende 10 minuten in de cache is opgeslagen terwijl de training nieuwe waarden gebruikte.
Een fraudeteam ontdekt dat de offline nauwkeurigheid te hoog is geworden door lekkage: training sloot zich aan bij een 'chargeback'-vlag die alleen bestaat na de voorspelde transactie.
Een ML-platformteam registreert elke functie die in de productie wordt aangeboden en voert nachtelijke taken uit, waarbij de distributie ervan wordt vergeleken met de trainingsgegevens om te waarschuwen voor scheeftrekkingen.
A recommendation team reduces implementation skew by sharing feature definitions, then tests timestamps and freshness in both training and serving.
Teams can improve feature parity by recording transformation versions, event times, availability times, and online freshness. Shared definitions and log-and-replay checks help investigate mismatches, but they need testing under actual batch and streaming conditions. Distribution alerts should lead to investigation rather than an automatic claim that serving code is wrong.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Er is sprake van scheeftrekking van training/serving wanneer de functies die een model offline leert, verschillen van de functies die het daadwerkelijk in de productie ontvangt, waardoor de nauwkeurigheid stilletjes verloren gaat. Het opsporen en voorkomen van deze mismatch is een van de moeilijkste en belangrijkste taken in het echte machine learning.
Skew is een discrepantie tussen de kenmerkwaarden die een model offline heeft geleerd en de waarden die het daadwerkelijk ontvangt bij het maken van live voorspellingen.
A historical row must not receive future information. Timestamped point-in-time retrieval helps enforce that constraint when the data records availability correctly.
Distribution monitoring flags changes, but matched-time value comparisons are needed to distinguish a computation mismatch from changes in the population.
Als de in de cache opgeslagen waarde op het moment van weergave verouderd is, ontvangt het model een andere invoer dan tijdens de training, waardoor scheeftrekking ontstaat.
Shared definitions reduce one important source of skew. They do not remove stale caches, differing source data, or time-availability errors.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Online versus offline modelevaluatie
Technisch