GUIDA della Società

Estrazione del modello e attacchi di furto

Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro dell’estrazione dei modelli e degli attacchi di furto
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Attacks and reported recovery are specific to the model interface, outputs, and experiment.

Immersione profonda

A model-extraction attack treats a deployed model as an oracle: an attacker collects input-output pairs and trains a substitute. The 2016 prediction-API paper demonstrates extraction attacks for specific model classes and shows that omitting confidence values does not prevent every attack. A 2024 study, *Stealing Part of a Production Language Model*, recovers an embedding-projection layer up to symmetries: it reports exact projection-matrix extraction for Ada and Babbage for under $20 in queries and estimates under $2,000 for GPT-3.5 Turbo. These results concern that layer and those models, not full checkpoint extraction. DynaMarks is a separate proposal that dynamically changes API responses using secret parameters to watermark surrogate models in its evaluated vision-model settings.

Implementazione nel mondo reale

Limit and monitor high-volume queries to a prediction API.

Compare label-only responses with probability-vector responses when reviewing information exposure.

Evaluate a proposed extraction defense on the model class and access pattern it targets.

Treat watermarking as a method-specific defense, not a universal guarantee of ownership.

Il futuro dell’estrazione dei modelli e degli attacchi di furto

Defenses may combine access controls, monitoring, response design, and model-specific watermarking research. Assess each mitigation against the attack setting and model class it was tested on; no single safeguard guarantees that a substitute cannot be trained or identified.

Metterlo in pratica

Perché è importante

  • Rischio e sicurezza. I danni catastrofici e quotidiani dell’IA dipendono entrambi da chi comprende i rischi e da chi può agire.
  • Decisioni più chiare. L’alfabetizzazione pubblica e professionale determina la possibilità politica di una forte politica di sicurezza.
  • Tagliare il clamore. Spiegazioni chiare riducono la cattura da parte di montature pubblicitarie, PR di laboratorio e vaghi teatrini etici.

Attenzione

  • Trattare il rischio esistenziale come fantascienza mentre le capacità si aggravano.
  • Confondere la sicurezza del prodotto superficiale con l'allineamento in condizioni di elevata autonomia.
  • Lasciando il pubblico non inglese e non esperto solo con fonti di bassa qualità.

Prossimi passi

  1. Separare i rischi di danni al prodotto, uso improprio e perdita di controllo/disallineamento.
  2. Chiedi quali prove cambierebbero la tua opinione sulle tempistiche e sulla gravità.
  3. Preferire fonti primarie e valutazioni concrete alle affermazioni di marketing.
  4. Identifica un percorso d’azione: carriera, politica, finanziamenti o competenze, non solo consapevolezza.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Model Extraction and Stealing Attacks quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Cos'è l'estrazione del modello e gli attacchi di furto?

Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior. Attacks and reported recovery are specific to the model interface, outputs, and experiment.

Qual è l’idea alla base di un attacco di estrazione del modello?

L'estrazione tratta il modello distribuito come un oracolo: l'attaccante raccoglie coppie input-output e addestra un modello imitatore per imitare il comportamento, senza mai accedere ai pesi originali.

Perché la restituzione di vettori a piena probabilità semplifica l'estrazione rispetto alla restituzione solo di un'etichetta top-1?

Ciascun vettore di probabilità completa rivela molto di più sulla superficie decisionale interna del modello rispetto a una singola etichetta, consentendo all'aggressore di ricostruire il confine con meno query.

Quale tecnica difensiva riduce direttamente le informazioni trapelate per query?

L'ampliamento degli output, ad esempio restituendo solo l'etichetta superiore o le probabilità arrotondate, riduce il segnale che ciascuna risposta fornisce a un utente malintenzionato, aumentando il costo di estrazione.

What did the 2024 production-language-model extraction paper report about GPT-3.5 Turbo?

The paper recovers the embedding-projection layer up to symmetries, exactly extracts the projection matrix for Ada and Babbage for under $20, and estimates under $2,000 in queries for GPT-3.5 Turbo.

Perché un modello sostitutivo rubato è pericoloso oltre alla semplice perdita di entrate?

Una volta che gli aggressori hanno una copia locale, possono sondarla liberamente per progettare input avversari o attacchi di evasione che ingannano anche il sistema originariamente distribuito.