DalšíDalší průvodce
Útoky na odvození členství
Společnost
PRŮVODCE společností
Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Attacks and reported recovery are specific to the model interface, outputs, and experiment.
A model-extraction attack treats a deployed model as an oracle: an attacker collects input-output pairs and trains a substitute. The 2016 prediction-API paper demonstrates extraction attacks for specific model classes and shows that omitting confidence values does not prevent every attack. A 2024 study, *Stealing Part of a Production Language Model*, recovers an embedding-projection layer up to symmetries: it reports exact projection-matrix extraction for Ada and Babbage for under $20 in queries and estimates under $2,000 for GPT-3.5 Turbo. These results concern that layer and those models, not full checkpoint extraction. DynaMarks is a separate proposal that dynamically changes API responses using secret parameters to watermark surrogate models in its evaluated vision-model settings.
Limit and monitor high-volume queries to a prediction API.
Compare label-only responses with probability-vector responses when reviewing information exposure.
Evaluate a proposed extraction defense on the model class and access pattern it targets.
Treat watermarking as a method-specific defense, not a universal guarantee of ownership.
Defenses may combine access controls, monitoring, response design, and model-specific watermarking research. Assess each mitigation against the attack setting and model class it was tested on; no single safeguard guarantees that a substitute cannot be trained or identified.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior. Attacks and reported recovery are specific to the model interface, outputs, and experiment.
Extrakce zachází s nasazeným modelem jako s věštcem: útočník shromažďuje vstupně-výstupní páry a trénuje kopírovací model tak, aby napodoboval chování, aniž by se kdy dostal k původním vahám.
Každý vektor plné pravděpodobnosti odhaluje mnohem více o vnitřním rozhodovacím povrchu modelu než jediné označení, což umožňuje útočníkovi rekonstruovat hranici s menším počtem dotazů.
Zhrubnutí výstupů, například vrácení pouze horního štítku nebo zaokrouhlených pravděpodobností, snižuje signál, který každá odpověď dává útočníkovi, a zvyšuje náklady na extrakci.
The paper recovers the embedding-projection layer up to symmetries, exactly extracts the projection matrix for Ada and Babbage for under $20, and estimates under $2,000 in queries for GPT-3.5 Turbo.
Jakmile mají útočníci místní kopii, mohou ji volně zkoumat a navrhovat nepřátelské vstupy nebo únikové útoky, které rovněž oklamou původní nasazený systém.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Útoky na odvození členství
Společnost