À suivreGuide suivant
Attaques par inférence d’adhésion
Société
GUIDE DE LA SOCIÉTÉ
Extraction de modèles et attaques de vol
Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Attacks and reported recovery are specific to the model interface, outputs, and experiment.
Plongée profonde
A model-extraction attack treats a deployed model as an oracle: an attacker collects input-output pairs and trains a substitute. The 2016 prediction-API paper demonstrates extraction attacks for specific model classes and shows that omitting confidence values does not prevent every attack. A 2024 study, *Stealing Part of a Production Language Model*, recovers an embedding-projection layer up to symmetries: it reports exact projection-matrix extraction for Ada and Babbage for under $20 in queries and estimates under $2,000 for GPT-3.5 Turbo. These results concern that layer and those models, not full checkpoint extraction. DynaMarks is a separate proposal that dynamically changes API responses using secret parameters to watermark surrogate models in its evaluated vision-model settings.
Mise en œuvre dans le monde réel
Limit and monitor high-volume queries to a prediction API.
Compare label-only responses with probability-vector responses when reviewing information exposure.
Evaluate a proposed extraction defense on the model class and access pattern it targets.
Treat watermarking as a method-specific defense, not a universal guarantee of ownership.
L’avenir de l’extraction de modèles et des attaques de vol
Defenses may combine access controls, monitoring, response design, and model-specific watermarking research. Assess each mitigation against the attack setting and model class it was tested on; no single safeguard guarantees that a substitute cannot be trained or identified.
Le mettre en pratique
Pourquoi c'est important
- Risques et sécurité. Les dommages catastrophiques et quotidiens causés par l’IA dépendent tous deux de la personne qui comprend les risques et qui peut agir.
- Décisions plus claires. Les connaissances du public et des professionnels déterminent si une politique de sécurité forte est politiquement possible.
- Passer à travers le battage médiatique. Des explications claires réduisent la capture par le battage médiatique, les relations publiques en laboratoire et le théâtre d'éthique vague.
Attention à
- Traiter le risque existentiel comme de la science-fiction alors que les capacités s’accroissent.
- Confondre sécurité des produits de surface et alignement sous haute autonomie.
- Laisser le public non anglophone et non expert avec uniquement des sources de mauvaise qualité.
Prochaines étapes
- Séparez les dommages causés aux produits, leur mauvaise utilisation et les risques de perte de contrôle/désalignement.
- Demandez quelles preuves pourraient changer votre point de vue sur les délais et la gravité.
- Préférez les sources primaires et les évaluations concrètes aux allégations marketing.
- Identifiez une voie d’action : carrière, politique, financement ou compétences – et pas seulement la sensibilisation.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Model Extraction and Stealing Attacks quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que les attaques d’extraction et de vol de modèles ?
Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior. Attacks and reported recovery are specific to the model interface, outputs, and experiment.
Quelle est l’idée centrale d’une attaque d’extraction de modèle ?
L'extraction traite le modèle déployé comme un oracle : l'attaquant collecte des paires d'entrées-sorties et entraîne un modèle copié pour imiter le comportement, sans jamais accéder aux pondérations d'origine.
Pourquoi le renvoi de vecteurs de probabilité complète rend-il l'extraction plus facile que le renvoi d'une seule étiquette top-1 ?
Chaque vecteur de probabilité complet en révèle bien plus sur la surface de décision interne du modèle qu'une seule étiquette, permettant à l'attaquant de reconstruire la limite avec moins de requêtes.
Quelle technique défensive réduit directement les informations divulguées par requête ?
L'augmentation des résultats, par exemple renvoyant uniquement l'étiquette supérieure ou les probabilités arrondies, réduit le signal que chaque réponse donne à un attaquant, augmentant ainsi le coût de l'extraction.
What did the 2024 production-language-model extraction paper report about GPT-3.5 Turbo?
The paper recovers the embedding-projection layer up to symmetries, exactly extracts the projection matrix for Ada and Babbage for under $20, and estimates under $2,000 in queries for GPT-3.5 Turbo.
Pourquoi un modèle de remplacement volé est-il dangereux au-delà de la simple perte de revenus ?
Une fois que les attaquants disposent d’une copie locale, ils peuvent la sonder librement pour concevoir des entrées adverses ou des attaques d’évasion qui trompent également le système déployé d’origine.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet