การสกัดแบบจำลองและการขโมยการโจมตี
การโจมตีด้วยการแยกโมเดลทำให้ฝ่ายตรงข้ามสามารถโคลนโมเดล AI ที่เป็นกรรมสิทธิ์ได้ เพียงแค่สอบถาม API สาธารณะและฝึกผู้เลียนแบบในคำตอบ
ภาพรวม
การโจมตีด้วยการแยกโมเดลทำให้ฝ่ายตรงข้ามสามารถโคลนโมเดล AI ที่เป็นกรรมสิทธิ์ได้ เพียงแค่สอบถาม API สาธารณะและฝึกผู้เลียนแบบในคำตอบ สิ่งสำคัญคือบริษัทต่างๆ ใช้โมเดลการฝึกอบรมหลายล้านโมเดลซึ่งสามารถประมาณราคาของการเรียก API เพียงไม่กี่พันครั้ง
การโจมตีแบบสกัดและขโมยแบบจำลองเป็นจุดที่จุดบรรจบกันของความสามารถ อำนาจ และทางเลือกของสาธารณะ โดยที่ความปลอดภัย การกำกับดูแล และความชอบธรรมจะตัดสินว่า AI ขั้นสูงจะช่วยหรือสร้างความเสียหายในวงกว้าง
เจาะลึก
การโจมตีแบบแยกโมเดล (หรือการขโมยโมเดล) จะถือว่าโมเดลที่ปรับใช้เป็นออราเคิล ผู้โจมตีส่งข้อมูลเข้า บันทึกผลลัพธ์ และฝึกโมเดลทดแทนเพื่อเลียนแบบพฤติกรรม เนื่องจากโมเดลเป้าหมายนั้นเป็นการเรียนรู้การจับคู่อินพุตกับเอาต์พุต การคัดลอกคู่อินพุต-เอาต์พุตที่เพียงพอจึงสามารถสร้างการประมาณที่ใกล้เคียงขึ้นใหม่ได้โดยไม่ต้องเห็นน้ำหนักดั้งเดิมหรือข้อมูลการฝึก นักวิจัยได้ขโมยขอบเขตการตัดสินใจของตัวแยกประเภทรูปภาพและแม้กระทั่งกู้คืนน้ำหนักที่แน่นอนของเลเยอร์ขนาดเล็ก ในปี 2024 ทีมงานได้สาธิตการฝังเลเยอร์แบบจำลองการผลิต OpenAI และ Google บางส่วนที่สามารถดึงออกมาได้ในราคาต่ำกว่าสองสามร้อยดอลลาร์ สำเนาที่ถูกขโมยตัดราคาบริการที่ต้องชำระเงิน เลี่ยงตัวกรองความปลอดภัย และเปิดใช้งานการโจมตีแบบ white-box เพิ่มเติม เช่น การสร้างตัวอย่างฝ่ายตรงข้าม
ข้อมูลเชิงลึกทางเทคนิค
ยิ่งการตอบสนองของ API สมบูรณ์ การโจรกรรมก็จะยิ่งถูกลง การส่งคืนเวกเตอร์ความน่าจะเป็นแบบเต็มหรือการบันทึกจะทำให้ข้อมูลต่อการสืบค้นรั่วไหลมากกว่าป้ายกำกับ 1 อันดับแรก ดังนั้นผู้โจมตีจึงสร้างขอบเขตใหม่โดยใช้การสืบค้นน้อยลง กลยุทธ์การเรียนรู้เชิงรุกเลือกคำถามที่มีข้อมูลมากที่สุดใกล้กับขอบเขตการตัดสินใจ ผลลัพธ์ที่สำคัญแสดงให้เห็นว่าการสืบค้นเกินจำนวนมิติเอาต์พุตสามารถกู้คืนเลเยอร์การฉายภาพเชิงเส้นสุดท้ายได้อย่างแน่นอนผ่านพีชคณิตเชิงเส้น เนื่องจากเลเยอร์นั้นเป็นเมทริกซ์ช่วงการตอบสนองอย่างมีประสิทธิภาพ
เชี่ยวชาญการสกัดโมเดลและการขโมยการโจมตี
หากต้องการสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่าการแยกโมเดลและการขโมยการโจมตีเป็นเพียงโมเดลปฏิบัติการ ไม่ใช่ฟีเจอร์เดียว กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ
ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Model Extraction และ Stealing Attacks จะจับคู่การเติบโตของขีดความสามารถเข้ากับการกำกับดูแล ความปลอดภัย และโครงสร้างความรับผิดชอบที่ชัดเจน โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน
ความเสียหายที่เกิดจาก AI ที่เป็นหายนะและเกิดขึ้นทุกวันนั้นขึ้นอยู่กับว่าใครเข้าใจความเสี่ยงและใครสามารถดำเนินการได้ ในเวลาเดียวกัน การรักษาความเสี่ยงที่มีอยู่เป็นไซไฟในขณะที่สารประกอบความสามารถ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง
ผลกระทบเชิงกลยุทธ์
ความเสียหายที่เกิดจาก AI ที่เป็นหายนะและเกิดขึ้นทุกวันนั้นขึ้นอยู่กับว่าใครเข้าใจความเสี่ยงและใครสามารถดำเนินการได้
ความเสียหายที่เกิดจาก AI ที่เป็นหายนะและเกิดขึ้นทุกวันนั้นขึ้นอยู่กับว่าใครเข้าใจความเสี่ยงและใครสามารถดำเนินการได้ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
ความรู้สาธารณะและวิชาชีพเป็นตัวกำหนดว่านโยบายความปลอดภัยที่เข้มงวดจะเป็นไปได้ทางการเมืองหรือไม่
ความรู้สาธารณะและวิชาชีพเป็นตัวกำหนดว่านโยบายความปลอดภัยที่เข้มงวดจะเป็นไปได้ทางการเมืองหรือไม่ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
คำอธิบายที่ชัดเจนช่วยลดการจับภาพโดยการโฆษณาเกินจริง การประชาสัมพันธ์ในห้องปฏิบัติการ และการแสดงจริยธรรมที่คลุมเครือ
คำอธิบายที่ชัดเจนช่วยลดการจับภาพโดยการโฆษณาเกินจริง การประชาสัมพันธ์ในห้องปฏิบัติการ และการแสดงจริยธรรมที่คลุมเครือ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การใช้งานจริงในโลกแห่งความเป็นจริง
สตาร์ทอัพสอบถาม API การจดจำรูปภาพที่เสียค่าใช้จ่ายของคู่แข่งหลายพันครั้ง และฝึกโคลนฟรีที่จำลองความแม่นยำ
นักวิจัยด้านความปลอดภัยแยกเลเยอร์การฝัง-การฉายภาพขั้นสุดท้ายของโมเดลภาษาที่ใช้งานจริงโดยใช้คำสั่ง API ที่สร้างขึ้นอย่างพิถีพิถันซึ่งมีราคาเพียงไม่กี่ร้อยดอลลาร์
ผู้โจมตีจะโคลนตัวแยกประเภทสแปมหรือการฉ้อโกงในเครื่อง เพื่อให้สามารถตรวจสอบแบบออฟไลน์และสร้างอินพุตที่หลบเลี่ยงการตรวจจับได้อย่างน่าเชื่อถือ
ผู้จำหน่ายระบบคลาวด์เพิ่มการตรวจสอบอัตราการสืบค้นที่ทำเครื่องหมายบัญชีที่มีรูปแบบการเข้าถึงตรงกับการแยกการเรียนรู้แบบแอคทีฟและควบคุมปริมาณการตอบสนอง
รูปแบบการดำเนินงาน
แบบจำลองการสกัดและการขโมยการโจมตีในทางปฏิบัติ
สตาร์ทอัพสอบถาม API การจดจำรูปภาพที่เสียค่าใช้จ่ายของคู่แข่งหลายพันครั้ง และฝึกโคลนฟรีที่จำลองความแม่นยำ
โดยปกติทีมจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
แบบจำลองการสกัดและการขโมยการโจมตีในทางปฏิบัติ
นักวิจัยด้านความปลอดภัยแยกเลเยอร์การฝัง-การฉายภาพขั้นสุดท้ายของโมเดลภาษาที่ใช้งานจริงโดยใช้คำสั่ง API ที่สร้างขึ้นอย่างพิถีพิถันซึ่งมีราคาเพียงไม่กี่ร้อยดอลลาร์
โดยปกติทีมจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
แบบจำลองการสกัดและการขโมยการโจมตีในทางปฏิบัติ
ผู้โจมตีจะโคลนตัวแยกประเภทสแปมหรือการฉ้อโกงในเครื่อง เพื่อให้สามารถตรวจสอบแบบออฟไลน์และสร้างอินพุตที่หลบเลี่ยงการตรวจจับได้อย่างน่าเชื่อถือ
โดยปกติทีมจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
แบบจำลองการสกัดและการขโมยการโจมตีในทางปฏิบัติ
ผู้จำหน่ายระบบคลาวด์เพิ่มการตรวจสอบอัตราการสืบค้นที่ทำเครื่องหมายบัญชีที่มีรูปแบบการเข้าถึงตรงกับการแยกการเรียนรู้แบบแอคทีฟและควบคุมปริมาณการตอบสนอง
โดยปกติทีมจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความเสี่ยงและรั้ว
การรักษาความเสี่ยงที่มีอยู่เป็นไซไฟในขณะที่สารประกอบความสามารถ
ความปลอดภัยของผลิตภัณฑ์พื้นผิวที่สับสนด้วยการจัดตำแหน่งภายใต้ความเป็นอิสระสูง
ปล่อยให้ผู้ชมที่ไม่ใช่ภาษาอังกฤษและไม่ใช่ผู้เชี่ยวชาญเหลือเพียงแหล่งข้อมูลคุณภาพต่ำ
แผนงานการดำเนินงาน
แยกอันตรายของผลิตภัณฑ์ การใช้ในทางที่ผิด และความเสี่ยงในการสูญเสียการควบคุม/การวางแนวที่ไม่ถูกต้อง
ถือว่านี่เป็นประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ถามว่าหลักฐานใดที่จะเปลี่ยนมุมมองของคุณเกี่ยวกับลำดับเวลาและความรุนแรง
ถือว่านี่เป็นประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ชอบแหล่งที่มาหลักและการประเมินที่เป็นรูปธรรมมากกว่าคำกล่าวอ้างทางการตลาด
ถือว่านี่เป็นประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ระบุเส้นทางการดำเนินการเส้นทางเดียว: อาชีพ นโยบาย เงินทุน หรือทักษะ ไม่ใช่แค่ความตระหนักรู้เท่านั้น
ถือว่านี่เป็นประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
สำรวจต่อไป
Check your understanding
Test yourself: take the Model Extraction and Stealing Attacks quiz