Il prossimoProssima guida
Distillazione per diffusione contraddittoria e modelli turbo
Tecnico
GUIDA TECNICA
Adversarial examples are inputs crafted to cause a model to produce an incorrect or undesired output under a stated threat model.
Ascolta questa guidaNarrato dall'IA · ~1 min
Adversarial-ML research studies attacks on machine-learning systems and possible mitigations. Results depend on the threat model, attacker knowledge, perturbation constraints, data, and evaluation protocol. An adversarial example is not simply an unusual input; it is constructed to induce a specific failure under stated constraints. Image perturbations and prompt-injection attacks are related security concerns but are not the same mechanism. Do not present hypothetical stickers, facial patches, or spam examples as observed incidents unless a source documents them.
A hypothetical image perturbation tests a classifier under a defined norm and budget.
A robustness evaluation compares clean and adversarial accuracy.
A red team tests whether a text model follows malicious instructions.
A report distinguishes demonstrated failures from illustrative examples.
Adversarial testing and mitigations continue to develop. State what was tested and avoid claiming certification or universal robustness from a limited evaluation.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Adversarial examples are inputs crafted to cause a model to produce an incorrect or undesired output under a stated threat model.
The guide defines adversarial examples relative to an attack and threat model; some settings use bounded perturbations, but changes need not always be tiny or imperceptible.
Gli aggressori white-box conoscono il modello e possono utilizzarne i gradienti; gli aggressori della scatola nera vedono solo input e output.
Adversarial training can improve resistance to evaluated attacks, but robustness depends on the threat model and does not cover every possible attack.
Poiché gli esempi contraddittori si trasferiscono tra modelli, un attaccante può crearli su un modello surrogato e attaccare con successo un bersaglio che non può ispezionare.
Prompt injection manipulates instructions or untrusted content in language-model systems; it is a security concern with a different mechanism from small pixel perturbations.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Distillazione per diffusione contraddittoria e modelli turbo
Tecnico