คู่มือสังคม

การสกัดแบบจำลองและการขโมยการโจมตี

Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior.

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการสกัดแบบจำลองและการขโมยการโจมตี
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

Attacks and reported recovery are specific to the model interface, outputs, and experiment.

เจาะลึก

A model-extraction attack treats a deployed model as an oracle: an attacker collects input-output pairs and trains a substitute. The 2016 prediction-API paper demonstrates extraction attacks for specific model classes and shows that omitting confidence values does not prevent every attack. A 2024 study, *Stealing Part of a Production Language Model*, recovers an embedding-projection layer up to symmetries: it reports exact projection-matrix extraction for Ada and Babbage for under $20 in queries and estimates under $2,000 for GPT-3.5 Turbo. These results concern that layer and those models, not full checkpoint extraction. DynaMarks is a separate proposal that dynamically changes API responses using secret parameters to watermark surrogate models in its evaluated vision-model settings.

การใช้งานจริงในโลกแห่งความเป็นจริง

Limit and monitor high-volume queries to a prediction API.

Compare label-only responses with probability-vector responses when reviewing information exposure.

Evaluate a proposed extraction defense on the model class and access pattern it targets.

Treat watermarking as a method-specific defense, not a universal guarantee of ownership.

อนาคตของการสกัดแบบจำลองและการขโมยการโจมตี

Defenses may combine access controls, monitoring, response design, and model-specific watermarking research. Assess each mitigation against the attack setting and model class it was tested on; no single safeguard guarantees that a substitute cannot be trained or identified.

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเสี่ยงและความปลอดภัย. ความเสียหายที่เกิดจาก AI ที่เป็นหายนะและเกิดขึ้นทุกวันนั้นขึ้นอยู่กับว่าใครเข้าใจความเสี่ยงและใครสามารถดำเนินการได้
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ความรู้สาธารณะและวิชาชีพเป็นตัวกำหนดว่านโยบายความปลอดภัยที่เข้มงวดจะเป็นไปได้ทางการเมืองหรือไม่
  • ตัดผ่านกระแสโฆษณาชวนเชื่อ. คำอธิบายที่ชัดเจนช่วยลดการจับภาพโดยการโฆษณาเกินจริง การประชาสัมพันธ์ในห้องปฏิบัติการ และการแสดงจริยธรรมที่คลุมเครือ

ระวัง

  • การรักษาความเสี่ยงที่มีอยู่เป็นไซไฟในขณะที่สารประกอบความสามารถ
  • ความปลอดภัยของผลิตภัณฑ์พื้นผิวที่สับสนด้วยการจัดตำแหน่งภายใต้ความเป็นอิสระสูง
  • ปล่อยให้ผู้ชมที่ไม่ใช่ภาษาอังกฤษและไม่ใช่ผู้เชี่ยวชาญเหลือเพียงแหล่งข้อมูลคุณภาพต่ำ

ขั้นตอนต่อไป

  1. แยกอันตรายของผลิตภัณฑ์ การใช้ในทางที่ผิด และความเสี่ยงในการสูญเสียการควบคุม/การวางแนวที่ไม่ถูกต้อง
  2. ถามว่าหลักฐานใดที่จะเปลี่ยนมุมมองของคุณเกี่ยวกับลำดับเวลาและความรุนแรง
  3. ชอบแหล่งที่มาหลักและการประเมินที่เป็นรูปธรรมมากกว่าคำกล่าวอ้างทางการตลาด
  4. ระบุเส้นทางการดำเนินการเส้นทางเดียว: อาชีพ นโยบาย เงินทุน หรือทักษะ ไม่ใช่แค่ความตระหนักรู้เท่านั้น

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Model Extraction and Stealing Attacks quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การสกัดโมเดลและการขโมยโจมตีคืออะไร?

Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior. Attacks and reported recovery are specific to the model interface, outputs, and experiment.

แนวคิดหลักเบื้องหลังการโจมตีแบบสกัดแบบจำลองคืออะไร

การสกัดจะถือว่าโมเดลที่ใช้งานเป็นเหมือนออราเคิล: ผู้โจมตีรวบรวมคู่อินพุต-เอาท์พุต และฝึกโมเดลลอกเลียนแบบเพื่อเลียนแบบพฤติกรรม โดยไม่ต้องเข้าถึงน้ำหนักดั้งเดิมเลย

เหตุใดการส่งคืนเวกเตอร์ความน่าจะเป็นแบบเต็มจึงทำให้การแยกข้อมูลง่ายกว่าการส่งคืนป้ายกำกับ 1 อันดับแรกเท่านั้น

เวกเตอร์ความน่าจะเป็นแบบเต็มแต่ละตัวเปิดเผยเกี่ยวกับพื้นผิวการตัดสินใจภายในของโมเดลมากกว่าป้ายกำกับเดียว ทำให้ผู้โจมตีสร้างขอบเขตขึ้นใหม่โดยมีการสืบค้นน้อยลง

เทคนิคการป้องกันใดช่วยลดข้อมูลที่รั่วไหลได้โดยตรงต่อการสืบค้น

เอาต์พุตที่หยาบ เช่น ส่งคืนเฉพาะป้ายกำกับด้านบนหรือความน่าจะเป็นแบบปัดเศษ จะช่วยลดสัญญาณที่แต่ละการตอบสนองให้กับผู้โจมตี ส่งผลให้ต้นทุนในการสกัดเพิ่มขึ้น

What did the 2024 production-language-model extraction paper report about GPT-3.5 Turbo?

The paper recovers the embedding-projection layer up to symmetries, exactly extracts the projection matrix for Ada and Babbage for under $20, and estimates under $2,000 in queries for GPT-3.5 Turbo.

เหตุใดโมเดลทดแทนที่ถูกขโมยไปจึงเป็นอันตรายนอกเหนือจากการสูญเสียรายได้?

เมื่อผู้โจมตีมีสำเนาในเครื่องแล้ว พวกเขาสามารถตรวจสอบได้อย่างอิสระเพื่อออกแบบอินพุตของฝ่ายตรงข้ามหรือการโจมตีแบบหลบเลี่ยงที่หลอกระบบที่ใช้งานเดิมด้วย

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →