VolgendeVolgende gids
Data Flywheels: Turning Production Data into Training Data
Technisch
Technische GIDS
Invloedfuncties schatten in welke mate elk trainingsvoorbeeld de voorspelling van een model heeft beïnvloed, zodat u een uitvoer kunt herleiden tot de gegevens die deze hebben veroorzaakt.
Luister naar deze gidsAI-verteld · ~2 min
Ze zijn belangrijk omdat ze een ondoorzichtig model veranderen in iets dat controleerbaar is op auteursrecht, foutopsporing en vertrouwen.
Influence functions come from robust statistics and were adapted to deep learning by Koh and Liang in 2017. The core question is counterfactual: how would the model's loss on a test point change if a particular training example were removed or up-weighted? Rather than actually retraining (which is hopelessly expensive), influence functions approximate that change using calculus. They compute the gradient of the loss for the training point and the test point, then connect them through the inverse Hessian of the loss, which captures the curvature of the model's parameter space. Under Koh and Liang’s standard upweighting-on-test-loss convention, I_up,loss measures how infinitesimally increasing a training point’s weight changes the loss on a chosen test point. A positive value means upweighting raises test loss (a harmful influence); a negative value means it lowers test loss (a helpful influence). Removing a point reverses the sign of the first-order estimated change. Other influence scores may target predictions or use a different sign convention, so define the quantity before interpreting its sign. The result is a ranked list of the most responsible training examples.
Traceren welke auteursrechtelijk beschermde boeken de meeste invloed hebben gehad op een passage die een taalmodel heeft gegenereerd, voor juridische analyse en licentieanalyse
Een verkeerde classificatie opsporen door de verkeerd gelabelde trainingsafbeeldingen naar boven te halen die het model naar het verkeerde antwoord hebben geduwd
Het detecteren van vergiftigde of afwijkende trainingsvoorbeelden die een grote invloed uitoefenen op specifieke voorspellingen
Het controleren van een krediet- of aanwervingsmodel om te laten zien welke historische gegevens tot een betwiste beslissing hebben geleid
Verwacht dat op invloed gebaseerde attributie een infrastructuur zal worden voor AI-verantwoording. Regelgevers en rechtbanken die onderzoeken of auteursrechtelijk beschermde tekst vorm heeft gegeven aan een output, zullen de herkomst op voorbeeldniveau willen, en ontwikkelaars zullen deze gebruiken om verkeerd gelabelde of vergiftigde gegevens naar boven te halen. Goedkopere benaderingen zoals TRAK en gradiëntschetsen zorgen ervoor dat attributie in de richting van realtime gaat, en door dit te combineren met afleren kunnen teams de invloed van een document wegnemen zonder volledige herscholing.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Invloedfuncties schatten in welke mate elk trainingsvoorbeeld de voorspelling van een model heeft beïnvloed, zodat u een uitvoer kunt herleiden tot de gegevens die deze hebben veroorzaakt. Ze zijn belangrijk omdat ze een ondoorzichtig model veranderen in iets dat controleerbaar is op auteursrecht, foutopsporing en vertrouwen.
Invloedfuncties schatten het effect van het verstoren van het gewicht van een trainingsvoorbeeld op het verlies op een testpunt, waarbij ze een 'leave-one-out'-omscholing benaderen zonder dit te doen.
De klassieke invloedsformule vereist het omkeren van de Hessiaan over alle parameters, wat onhaalbaar is voor modellen met miljarden parameters.
Pang Wei Koh en Percy Liang's paper uit 2017 'Understanding Black-box Predictions via Influence Functions' brachten de techniek in deep learning.
Voor I_up,loss betekent een negatieve afgeleide dat het verhogen van het gewicht van het trainingspunt het geselecteerde testverlies verlaagt; het verwijderen ervan heeft het tegenovergestelde eerste-orde-effect.
In het onderzoek van Anthropic uit 2023 werd EK-FAC gebruikt om de inverse Hessiaan te benaderen, waardoor invloedanalyse op grote taalmodellen mogelijk werd.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Data Flywheels: Turning Production Data into Training Data
Technisch