Tiếp theoHướng dẫn tiếp theo
Tấn công suy luận thành viên
xã hội
HƯỚNG DẪN xã hội
Tấn công khai thác và đánh cắp mô hình
Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Attacks and reported recovery are specific to the model interface, outputs, and experiment.
Lặn sâu
A model-extraction attack treats a deployed model as an oracle: an attacker collects input-output pairs and trains a substitute. The 2016 prediction-API paper demonstrates extraction attacks for specific model classes and shows that omitting confidence values does not prevent every attack. A 2024 study, *Stealing Part of a Production Language Model*, recovers an embedding-projection layer up to symmetries: it reports exact projection-matrix extraction for Ada and Babbage for under $20 in queries and estimates under $2,000 for GPT-3.5 Turbo. These results concern that layer and those models, not full checkpoint extraction. DynaMarks is a separate proposal that dynamically changes API responses using secret parameters to watermark surrogate models in its evaluated vision-model settings.
Triển khai trong thế giới thực
Limit and monitor high-volume queries to a prediction API.
Compare label-only responses with probability-vector responses when reviewing information exposure.
Evaluate a proposed extraction defense on the model class and access pattern it targets.
Treat watermarking as a method-specific defense, not a universal guarantee of ownership.
Tương lai của các cuộc tấn công khai thác và đánh cắp mô hình
Defenses may combine access controls, monitoring, response design, and model-specific watermarking research. Assess each mitigation against the attack setting and model class it was tested on; no single safeguard guarantees that a substitute cannot be trained or identified.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Rủi ro và an toàn. Những tác hại thảm khốc và thường ngày của AI đều phụ thuộc vào việc ai hiểu được rủi ro và ai có thể hành động.
- Quyết định rõ ràng hơn. Kiến thức công cộng và chuyên môn định hình liệu chính sách an toàn mạnh mẽ có khả thi về mặt chính trị hay không.
- Phá vỡ sự thổi phồng. Những lời giải thích rõ ràng làm giảm sự thu hút bởi sự cường điệu, PR trong phòng thí nghiệm và sân khấu đạo đức mơ hồ.
coi chừng
- Xử lý rủi ro hiện hữu như khoa học viễn tưởng trong khi khả năng lại phức tạp.
- Nhầm lẫn giữa an toàn sản phẩm bề mặt với sự liên kết dưới quyền tự chủ cao.
- Chỉ để lại những khán giả không phải người Anh và không có chuyên môn với những nguồn chất lượng thấp.
Các bước tiếp theo
- Tách biệt các tác hại của sản phẩm, sử dụng sai và rủi ro mất kiểm soát/sai lệch.
- Hỏi bằng chứng nào sẽ thay đổi quan điểm của bạn về thời gian và mức độ nghiêm trọng.
- Ưu tiên các nguồn chính và đánh giá cụ thể hơn các tuyên bố tiếp thị.
- Xác định một lộ trình hành động: sự nghiệp, chính sách, nguồn tài trợ hoặc kỹ năng - không chỉ là nhận thức.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Model Extraction and Stealing Attacks quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Tấn công khai thác và đánh cắp mô hình là gì?
Model extraction uses query access to a deployed model to train a substitute that imitates some of its behavior. Attacks and reported recovery are specific to the model interface, outputs, and experiment.
Ý tưởng cốt lõi đằng sau cuộc tấn công trích xuất mô hình là gì?
Quá trình trích xuất coi mô hình đã triển khai như một lời tiên tri: kẻ tấn công thu thập các cặp đầu vào-đầu ra và huấn luyện một mô hình sao chép để bắt chước hành vi mà không cần truy cập vào trọng số ban đầu.
Tại sao việc trả về các vectơ xác suất đầy đủ lại giúp việc trích xuất dễ dàng hơn việc chỉ trả về nhãn top 1?
Mỗi vectơ xác suất đầy đủ tiết lộ nhiều thông tin hơn về bề mặt quyết định bên trong của mô hình so với một nhãn duy nhất, cho phép kẻ tấn công tái tạo lại ranh giới với ít truy vấn hơn.
Kỹ thuật phòng thủ nào trực tiếp làm giảm thông tin bị rò rỉ trên mỗi truy vấn?
Kết quả đầu ra thô hơn, chẳng hạn như chỉ trả về nhãn trên cùng hoặc xác suất được làm tròn, sẽ làm giảm tín hiệu mà mỗi phản hồi cung cấp cho kẻ tấn công, làm tăng chi phí trích xuất.
What did the 2024 production-language-model extraction paper report about GPT-3.5 Turbo?
The paper recovers the embedding-projection layer up to symmetries, exactly extracts the projection matrix for Ada and Babbage for under $20, and estimates under $2,000 in queries for GPT-3.5 Turbo.
Tại sao một mô hình thay thế bị đánh cắp lại nguy hiểm ngoài việc mất doanh thu?
Sau khi kẻ tấn công có bản sao cục bộ, chúng có thể tự do thăm dò nó để thiết kế các đầu vào đối nghịch hoặc các cuộc tấn công trốn tránh nhằm đánh lừa hệ thống được triển khai ban đầu.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này