Il prossimoProssima guida
Attacchi di inferenza sull'appartenenza
Società
GUIDA della Società
Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior.
Ascolta questa guidaNarrato dall'IA · ~2 min
Attacks and reported recovery are specific to the model interface, outputs, and experiment.
A model-extraction attack treats a deployed model as an oracle: an attacker collects input-output pairs and trains a substitute. The 2016 prediction-API paper demonstrates extraction attacks for specific model classes and shows that omitting confidence values does not prevent every attack. A 2024 study, *Stealing Part of a Production Language Model*, recovers an embedding-projection layer up to symmetries: it reports exact projection-matrix extraction for Ada and Babbage for under $20 in queries and estimates under $2,000 for GPT-3.5 Turbo. These results concern that layer and those models, not full checkpoint extraction. DynaMarks is a separate proposal that dynamically changes API responses using secret parameters to watermark surrogate models in its evaluated vision-model settings.
Limit and monitor high-volume queries to a prediction API.
Compare label-only responses with probability-vector responses when reviewing information exposure.
Evaluate a proposed extraction defense on the model class and access pattern it targets.
Treat watermarking as a method-specific defense, not a universal guarantee of ownership.
Defenses may combine access controls, monitoring, response design, and model-specific watermarking research. Assess each mitigation against the attack setting and model class it was tested on; no single safeguard guarantees that a substitute cannot be trained or identified.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior. Attacks and reported recovery are specific to the model interface, outputs, and experiment.
L'estrazione tratta il modello distribuito come un oracolo: l'attaccante raccoglie coppie input-output e addestra un modello imitatore per imitare il comportamento, senza mai accedere ai pesi originali.
Ciascun vettore di probabilità completa rivela molto di più sulla superficie decisionale interna del modello rispetto a una singola etichetta, consentendo all'aggressore di ricostruire il confine con meno query.
L'ampliamento degli output, ad esempio restituendo solo l'etichetta superiore o le probabilità arrotondate, riduce il segnale che ciascuna risposta fornisce a un utente malintenzionato, aumentando il costo di estrazione.
The paper recovers the embedding-projection layer up to symmetries, exactly extracts the projection matrix for Ada and Babbage for under $20, and estimates under $2,000 in queries for GPT-3.5 Turbo.
Una volta che gli aggressori hanno una copia locale, possono sondarla liberamente per progettare input avversari o attacchi di evasione che ingannano anche il sistema originariamente distribuito.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Attacchi di inferenza sull'appartenenza
Società