คู่มือสังคม
การสกัดแบบจำลองและการขโมยการโจมตี
Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior.
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
Attacks and reported recovery are specific to the model interface, outputs, and experiment.
เจาะลึก
A model-extraction attack treats a deployed model as an oracle: an attacker collects input-output pairs and trains a substitute. The 2016 prediction-API paper demonstrates extraction attacks for specific model classes and shows that omitting confidence values does not prevent every attack. A 2024 study, *Stealing Part of a Production Language Model*, recovers an embedding-projection layer up to symmetries: it reports exact projection-matrix extraction for Ada and Babbage for under $20 in queries and estimates under $2,000 for GPT-3.5 Turbo. These results concern that layer and those models, not full checkpoint extraction. DynaMarks is a separate proposal that dynamically changes API responses using secret parameters to watermark surrogate models in its evaluated vision-model settings.
การใช้งานจริงในโลกแห่งความเป็นจริง
Limit and monitor high-volume queries to a prediction API.
Compare label-only responses with probability-vector responses when reviewing information exposure.
Evaluate a proposed extraction defense on the model class and access pattern it targets.
Treat watermarking as a method-specific defense, not a universal guarantee of ownership.
อนาคตของการสกัดแบบจำลองและการขโมยการโจมตี
Defenses may combine access controls, monitoring, response design, and model-specific watermarking research. Assess each mitigation against the attack setting and model class it was tested on; no single safeguard guarantees that a substitute cannot be trained or identified.
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเสี่ยงและความปลอดภัย. ความเสียหายที่เกิดจาก AI ที่เป็นหายนะและเกิดขึ้นทุกวันนั้นขึ้นอยู่กับว่าใครเข้าใจความเสี่ยงและใครสามารถดำเนินการได้
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. ความรู้สาธารณะและวิชาชีพเป็นตัวกำหนดว่านโยบายความปลอดภัยที่เข้มงวดจะเป็นไปได้ทางการเมืองหรือไม่
- ตัดผ่านกระแสโฆษณาชวนเชื่อ. คำอธิบายที่ชัดเจนช่วยลดการจับภาพโดยการโฆษณาเกินจริง การประชาสัมพันธ์ในห้องปฏิบัติการ และการแสดงจริยธรรมที่คลุมเครือ
ระวัง
- การรักษาความเสี่ยงที่มีอยู่เป็นไซไฟในขณะที่สารประกอบความสามารถ
- ความปลอดภัยของผลิตภัณฑ์พื้นผิวที่สับสนด้วยการจัดตำแหน่งภายใต้ความเป็นอิสระสูง
- ปล่อยให้ผู้ชมที่ไม่ใช่ภาษาอังกฤษและไม่ใช่ผู้เชี่ยวชาญเหลือเพียงแหล่งข้อมูลคุณภาพต่ำ
ขั้นตอนต่อไป
- แยกอันตรายของผลิตภัณฑ์ การใช้ในทางที่ผิด และความเสี่ยงในการสูญเสียการควบคุม/การวางแนวที่ไม่ถูกต้อง
- ถามว่าหลักฐานใดที่จะเปลี่ยนมุมมองของคุณเกี่ยวกับลำดับเวลาและความรุนแรง
- ชอบแหล่งที่มาหลักและการประเมินที่เป็นรูปธรรมมากกว่าคำกล่าวอ้างทางการตลาด
- ระบุเส้นทางการดำเนินการเส้นทางเดียว: อาชีพ นโยบาย เงินทุน หรือทักษะ ไม่ใช่แค่ความตระหนักรู้เท่านั้น
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Model Extraction and Stealing Attacks quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
การสกัดโมเดลและการขโมยโจมตีคืออะไร?
Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior. Attacks and reported recovery are specific to the model interface, outputs, and experiment.
แนวคิดหลักเบื้องหลังการโจมตีแบบสกัดแบบจำลองคืออะไร
การสกัดจะถือว่าโมเดลที่ใช้งานเป็นเหมือนออราเคิล: ผู้โจมตีรวบรวมคู่อินพุต-เอาท์พุต และฝึกโมเดลลอกเลียนแบบเพื่อเลียนแบบพฤติกรรม โดยไม่ต้องเข้าถึงน้ำหนักดั้งเดิมเลย
เหตุใดการส่งคืนเวกเตอร์ความน่าจะเป็นแบบเต็มจึงทำให้การแยกข้อมูลง่ายกว่าการส่งคืนป้ายกำกับ 1 อันดับแรกเท่านั้น
เวกเตอร์ความน่าจะเป็นแบบเต็มแต่ละตัวเปิดเผยเกี่ยวกับพื้นผิวการตัดสินใจภายในของโมเดลมากกว่าป้ายกำกับเดียว ทำให้ผู้โจมตีสร้างขอบเขตขึ้นใหม่โดยมีการสืบค้นน้อยลง
เทคนิคการป้องกันใดช่วยลดข้อมูลที่รั่วไหลได้โดยตรงต่อการสืบค้น
เอาต์พุตที่หยาบ เช่น ส่งคืนเฉพาะป้ายกำกับด้านบนหรือความน่าจะเป็นแบบปัดเศษ จะช่วยลดสัญญาณที่แต่ละการตอบสนองให้กับผู้โจมตี ส่งผลให้ต้นทุนในการสกัดเพิ่มขึ้น
What did the 2024 production-language-model extraction paper report about GPT-3.5 Turbo?
The paper recovers the embedding-projection layer up to symmetries, exactly extracts the projection matrix for Ada and Babbage for under $20, and estimates under $2,000 in queries for GPT-3.5 Turbo.
เหตุใดโมเดลทดแทนที่ถูกขโมยไปจึงเป็นอันตรายนอกเหนือจากการสูญเสียรายได้?
เมื่อผู้โจมตีมีสำเนาในเครื่องแล้ว พวกเขาสามารถตรวจสอบได้อย่างอิสระเพื่อออกแบบอินพุตของฝ่ายตรงข้ามหรือการโจมตีแบบหลบเลี่ยงที่หลอกระบบที่ใช้งานเดิมด้วย
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้