LegközelebbKövetkező útmutató
Tagsági következtetés támadások
Társadalom
Társadalom ÚTMUTATÓ
Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Attacks and reported recovery are specific to the model interface, outputs, and experiment.
A model-extraction attack treats a deployed model as an oracle: an attacker collects input-output pairs and trains a substitute. The 2016 prediction-API paper demonstrates extraction attacks for specific model classes and shows that omitting confidence values does not prevent every attack. A 2024 study, *Stealing Part of a Production Language Model*, recovers an embedding-projection layer up to symmetries: it reports exact projection-matrix extraction for Ada and Babbage for under $20 in queries and estimates under $2,000 for GPT-3.5 Turbo. These results concern that layer and those models, not full checkpoint extraction. DynaMarks is a separate proposal that dynamically changes API responses using secret parameters to watermark surrogate models in its evaluated vision-model settings.
Limit and monitor high-volume queries to a prediction API.
Compare label-only responses with probability-vector responses when reviewing information exposure.
Evaluate a proposed extraction defense on the model class and access pattern it targets.
Treat watermarking as a method-specific defense, not a universal guarantee of ownership.
Defenses may combine access controls, monitoring, response design, and model-specific watermarking research. Assess each mitigation against the attack setting and model class it was tested on; no single safeguard guarantees that a substitute cannot be trained or identified.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior. Attacks and reported recovery are specific to the model interface, outputs, and experiment.
Az Extraction a telepített modellt orákulumként kezeli: a támadó összegyűjti a bemenet-kimenet párokat, és kiképez egy másolómodellt, hogy utánozza a viselkedést anélkül, hogy hozzáférne az eredeti súlyokhoz.
Minden teljes valószínűségi vektor sokkal többet árul el a modell belső döntési felületéről, mint egyetlen címke, így a támadó kevesebb lekérdezéssel rekonstruálhatja a határt.
A kimenetek durvítása, például csak a felső címke visszaadása vagy a lekerekített valószínűségek, csökkenti az egyes válaszok által a támadónak adott jelet, ami növeli a kivonás költségeit.
The paper recovers the embedding-projection layer up to symmetries, exactly extracts the projection matrix for Ada and Babbage for under $20, and estimates under $2,000 in queries for GPT-3.5 Turbo.
Miután a támadók rendelkeznek egy helyi másolattal, szabadon megvizsgálhatják, hogy ellenséges bemeneteket vagy kitérő támadásokat tervezzenek, amelyek az eredeti telepített rendszert is megtévesztik.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Tagsági következtetés támadások
Társadalom