VolgendeVolgende gids
Tegenstrijdige diffusiedestillatie en turbomodellen
Technisch
Technische GIDS
Adversarial examples are inputs crafted to cause a model to produce an incorrect or undesired output under a stated threat model.
Luister naar deze gidsAI-verteld · ~1 min
Adversarial-ML research studies attacks on machine-learning systems and possible mitigations. Results depend on the threat model, attacker knowledge, perturbation constraints, data, and evaluation protocol. An adversarial example is not simply an unusual input; it is constructed to induce a specific failure under stated constraints. Image perturbations and prompt-injection attacks are related security concerns but are not the same mechanism. Do not present hypothetical stickers, facial patches, or spam examples as observed incidents unless a source documents them.
A hypothetical image perturbation tests a classifier under a defined norm and budget.
A robustness evaluation compares clean and adversarial accuracy.
A red team tests whether a text model follows malicious instructions.
A report distinguishes demonstrated failures from illustrative examples.
Adversarial testing and mitigations continue to develop. State what was tested and avoid claiming certification or universal robustness from a limited evaluation.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Adversarial examples are inputs crafted to cause a model to produce an incorrect or undesired output under a stated threat model.
The guide defines adversarial examples relative to an attack and threat model; some settings use bounded perturbations, but changes need not always be tiny or imperceptible.
White-box-aanvallers kennen het model en kunnen de gradiënten ervan gebruiken; Black-box-aanvallers zien alleen input en output.
Adversarial training can improve resistance to evaluated attacks, but robustness depends on the threat model and does not cover every possible attack.
Omdat vijandige voorbeelden over verschillende modellen heen worden overgedragen, kan een aanvaller ze op een surrogaatmodel maken en met succes een doelwit aanvallen dat ze niet kunnen inspecteren.
Prompt injection manipulates instructions or untrusted content in language-model systems; it is a security concern with a different mechanism from small pixel perturbations.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Tegenstrijdige diffusiedestillatie en turbomodellen
Technisch