ต่อไปคำแนะนำต่อไป
การกลั่นแบบแพร่กระจายแบบปฏิปักษ์และแบบเทอร์โบ
เทคนิค
คู่มือทางเทคนิค
Adversarial examples are inputs crafted to cause a model to produce an incorrect or undesired output under a stated threat model.
ฟังคำแนะนำนี้บรรยายโดย AI · ~1 min
Adversarial-ML research studies attacks on machine-learning systems and possible mitigations. Results depend on the threat model, attacker knowledge, perturbation constraints, data, and evaluation protocol. An adversarial example is not simply an unusual input; it is constructed to induce a specific failure under stated constraints. Image perturbations and prompt-injection attacks are related security concerns but are not the same mechanism. Do not present hypothetical stickers, facial patches, or spam examples as observed incidents unless a source documents them.
A hypothetical image perturbation tests a classifier under a defined norm and budget.
A robustness evaluation compares clean and adversarial accuracy.
A red team tests whether a text model follows malicious instructions.
A report distinguishes demonstrated failures from illustrative examples.
Adversarial testing and mitigations continue to develop. State what was tested and avoid claiming certification or universal robustness from a limited evaluation.
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
Adversarial examples are inputs crafted to cause a model to produce an incorrect or undesired output under a stated threat model.
The guide defines adversarial examples relative to an attack and threat model; some settings use bounded perturbations, but changes need not always be tiny or imperceptible.
ผู้โจมตีกล่องขาวรู้จักโมเดลนี้และสามารถใช้การไล่ระดับสีได้ ผู้โจมตีกล่องดำจะเห็นเฉพาะอินพุตและเอาต์พุตเท่านั้น
Adversarial training can improve resistance to evaluated attacks, but robustness depends on the threat model and does not cover every possible attack.
เนื่องจากตัวอย่างของฝ่ายตรงข้ามถูกถ่ายโอนไปยังโมเดลต่างๆ ผู้โจมตีจึงสามารถสร้างโมเดลเหล่านั้นขึ้นมาบนโมเดลตัวแทนและโจมตีเป้าหมายที่พวกเขาไม่สามารถตรวจสอบได้สำเร็จ
Prompt injection manipulates instructions or untrusted content in language-model systems; it is a security concern with a different mechanism from small pixel perturbations.
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การกลั่นแบบแพร่กระจายแบบปฏิปักษ์และแบบเทอร์โบ
เทคนิค