VolgendeVolgende gids
Aanvallen op het gebied van lidmaatschapsinferentie
Samenleving
Gids voor de samenleving
Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior.
Luister naar deze gidsAI-verteld · ~2 min
Attacks and reported recovery are specific to the model interface, outputs, and experiment.
A model-extraction attack treats a deployed model as an oracle: an attacker collects input-output pairs and trains a substitute. The 2016 prediction-API paper demonstrates extraction attacks for specific model classes and shows that omitting confidence values does not prevent every attack. A 2024 study, *Stealing Part of a Production Language Model*, recovers an embedding-projection layer up to symmetries: it reports exact projection-matrix extraction for Ada and Babbage for under $20 in queries and estimates under $2,000 for GPT-3.5 Turbo. These results concern that layer and those models, not full checkpoint extraction. DynaMarks is a separate proposal that dynamically changes API responses using secret parameters to watermark surrogate models in its evaluated vision-model settings.
Limit and monitor high-volume queries to a prediction API.
Compare label-only responses with probability-vector responses when reviewing information exposure.
Evaluate a proposed extraction defense on the model class and access pattern it targets.
Treat watermarking as a method-specific defense, not a universal guarantee of ownership.
Defenses may combine access controls, monitoring, response design, and model-specific watermarking research. Assess each mitigation against the attack setting and model class it was tested on; no single safeguard guarantees that a substitute cannot be trained or identified.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior. Attacks and reported recovery are specific to the model interface, outputs, and experiment.
Extractie beschouwt het ingezette model als een orakel: de aanvaller verzamelt input-output-paren en traint een copycat-model om het gedrag na te bootsen, zonder ooit toegang te krijgen tot de oorspronkelijke gewichten.
Elke volledige waarschijnlijkheidsvector onthult veel meer over het interne beslissingsoppervlak van het model dan een enkel label, waardoor de aanvaller de grens met minder vragen kan reconstrueren.
Het grover maken van de uitvoer, bijvoorbeeld het retourneren van alleen het bovenste label of afgeronde waarschijnlijkheden, vermindert het signaal dat elke reactie aan een aanvaller geeft, waardoor de kosten van extractie toenemen.
The paper recovers the embedding-projection layer up to symmetries, exactly extracts the projection matrix for Ada and Babbage for under $20, and estimates under $2,000 in queries for GPT-3.5 Turbo.
Zodra aanvallers een lokale kopie hebben, kunnen ze deze vrijelijk onderzoeken om vijandige input of ontwijkingsaanvallen te ontwerpen die ook het oorspronkelijk geïmplementeerde systeem voor de gek houden.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Aanvallen op het gebied van lidmaatschapsinferentie
Samenleving