คู่มือสังคม

การสกัดแบบจำลองและการขโมยการโจมตี

การโจมตีด้วยการแยกโมเดลทำให้ฝ่ายตรงข้ามสามารถโคลนโมเดล AI ที่เป็นกรรมสิทธิ์ได้ เพียงแค่สอบถาม API สาธารณะและฝึกผู้เลียนแบบในคำตอบ

ภาพรวม

การโจมตีด้วยการแยกโมเดลทำให้ฝ่ายตรงข้ามสามารถโคลนโมเดล AI ที่เป็นกรรมสิทธิ์ได้ เพียงแค่สอบถาม API สาธารณะและฝึกผู้เลียนแบบในคำตอบ สิ่งสำคัญคือบริษัทต่างๆ ใช้โมเดลการฝึกอบรมหลายล้านโมเดลซึ่งสามารถประมาณราคาของการเรียก API เพียงไม่กี่พันครั้ง

การโจมตีแบบสกัดและขโมยแบบจำลองเป็นของชั้นทางสังคมและการกำกับดูแลของ AI ซึ่งนโยบาย ความรับผิดชอบ และความไว้วางใจของสาธารณะเป็นตัวกำหนดผลกระทบในระยะยาว

เจาะลึก

การโจมตีแบบแยกโมเดล (หรือการขโมยโมเดล) จะถือว่าโมเดลที่ปรับใช้เป็นออราเคิล ผู้โจมตีจะส่งอินพุต บันทึกเอาต์พุต และฝึกโมเดลทดแทนเพื่อเลียนแบบพฤติกรรม เนื่องจากโมเดลเป้าหมายนั้นเป็นการเรียนรู้การจับคู่อินพุตกับเอาต์พุต การคัดลอกคู่อินพุต-เอาต์พุตที่เพียงพอจึงสามารถสร้างการประมาณที่ใกล้เคียงขึ้นใหม่ได้โดยไม่ต้องเห็นน้ำหนักดั้งเดิมหรือข้อมูลการฝึก นักวิจัยได้ขโมยขอบเขตการตัดสินใจของตัวแยกประเภทรูปภาพและแม้กระทั่งกู้คืนน้ำหนักที่แน่นอนของเลเยอร์ขนาดเล็ก ในปี 2024 ทีมงานได้สาธิตการฝังเลเยอร์แบบจำลองการผลิต OpenAI และ Google บางส่วนที่สามารถดึงออกมาได้ในราคาต่ำกว่าสองสามร้อยดอลลาร์ สำเนาที่ถูกขโมยตัดราคาบริการที่ต้องชำระเงิน เลี่ยงตัวกรองความปลอดภัย และเปิดใช้งานการโจมตีแบบ white-box เพิ่มเติม เช่น การสร้างตัวอย่างฝ่ายตรงข้าม

ข้อมูลเชิงลึกทางเทคนิค

ยิ่งการตอบสนองของ API สมบูรณ์ การโจรกรรมก็จะยิ่งถูกลง การส่งคืนเวกเตอร์ความน่าจะเป็นแบบเต็มหรือการบันทึกจะทำให้ข้อมูลต่อการสืบค้นรั่วไหลมากกว่าป้ายกำกับ 1 อันดับแรก ดังนั้นผู้โจมตีจึงสร้างขอบเขตใหม่โดยใช้การสืบค้นน้อยลง กลยุทธ์การเรียนรู้เชิงรุกเลือกคำถามที่มีข้อมูลมากที่สุดใกล้กับขอบเขตการตัดสินใจ ผลลัพธ์ที่สำคัญแสดงให้เห็นว่าการสืบค้นเกินจำนวนมิติเอาต์พุตสามารถกู้คืนเลเยอร์การฉายภาพเชิงเส้นสุดท้ายได้อย่างแน่นอนผ่านพีชคณิตเชิงเส้น เนื่องจากเลเยอร์นั้นเป็นเมทริกซ์ช่วงการตอบสนองอย่างมีประสิทธิภาพ

เชี่ยวชาญการสกัดโมเดลและการขโมยการโจมตี

การโจมตีด้วยการแยกโมเดลทำให้ฝ่ายตรงข้ามสามารถโคลนโมเดล AI ที่เป็นกรรมสิทธิ์ได้ เพียงแค่สอบถาม API สาธารณะและฝึกผู้เลียนแบบในคำตอบ สิ่งสำคัญคือบริษัทต่างๆ ใช้โมเดลการฝึกอบรมหลายล้านโมเดลซึ่งสามารถประมาณราคาของการเรียก API เพียงไม่กี่พันครั้ง การโจมตีแบบสกัดและขโมยแบบจำลองเป็นของชั้นทางสังคมและการกำกับดูแลของ AI ซึ่งนโยบาย ความรับผิดชอบ และความไว้วางใจของสาธารณะเป็นตัวกำหนดผลกระทบในระยะยาว เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่าโมเดลสกัดและขโมยการโจมตีเป็นโมเดลปฏิบัติการ ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังคงต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ

ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Model Extraction และ Stealing Attacks จะจับคู่การเติบโตของขีดความสามารถเข้ากับการกำกับดูแล ความปลอดภัย และโครงสร้างความรับผิดชอบที่ชัดเจน โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน

การตัดสินใจทางสังคมจะกำหนดว่าใครได้ประโยชน์และใครเป็นผู้แบกรับความเสี่ยง ในเวลาเดียวกัน การกล่าวอ้างแบบกว้าง ๆ อาจแพร่กระจายได้เร็วกว่าหลักฐานและการกำกับดูแลที่รับผิดชอบ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง

ผลกระทบเชิงกลยุทธ์

การตัดสินใจทางสังคมจะกำหนดว่าใครได้ประโยชน์และใครเป็นผู้แบกรับความเสี่ยง

การตัดสินใจทางสังคมจะกำหนดว่าใครได้ประโยชน์และใครเป็นผู้แบกรับความเสี่ยง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

สถาบันสาธารณะ โรงเรียน และธุรกิจต่างก็พึ่งพาการกำกับดูแลด้าน AI ที่ชัดเจน

สถาบันสาธารณะ โรงเรียน และธุรกิจต่างก็พึ่งพาการกำกับดูแลด้าน AI ที่ชัดเจน ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

การออกแบบนโยบายที่ดีสามารถปรับปรุงความปลอดภัยโดยไม่ปิดกั้นนวัตกรรมที่เป็นประโยชน์

การออกแบบนโยบายที่ดีสามารถปรับปรุงความปลอดภัยโดยไม่ปิดกั้นนวัตกรรมที่เป็นประโยชน์ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

อนาคตของการสกัดแบบจำลองและการขโมยการโจมตี

การป้องกันกำลังเปลี่ยนจากการบล็อกไปสู่การตรวจจับและการลดลง: การจำกัดอัตรา การส่งคืนเอาต์พุตแบบปัดเศษหรืออันดับสูงสุด 1 เท่านั้น การเพิ่มสัญญาณรบกวนที่ปรับเทียบแล้ว ลักษณะการทำงานของโมเดลลายน้ำเพื่อให้สามารถพิมพ์ลายนิ้วมือของสำเนาที่ถูกขโมยได้ และตรวจสอบรูปแบบแบบสอบถามสำหรับการแยกลายเซ็น คาดหวังข้อกำหนดด้านกฎระเบียบและใบอนุญาตที่ถือว่าการสกัดเป็นการโจรกรรม บวกกับการวิจัยเชิงรุกเกี่ยวกับสถาปัตยกรรมที่สกัดได้ยากที่พิสูจน์ได้ เมื่อแบบจำลองมีขนาดใหญ่ขึ้น การสกัดแบบเต็มยังคงมีต้นทุนสูง แต่การสกัดส่วนประกอบที่มีคุณค่าและการโคลนนิ่งแบบกลั่นบางส่วนจะยังคงเป็นภัยคุกคามทางการค้าและความปลอดภัยอย่างต่อเนื่อง

การใช้งานจริงในโลกแห่งความเป็นจริง

สตาร์ทอัพสอบถาม API การจดจำรูปภาพที่เสียค่าใช้จ่ายของคู่แข่งหลายพันครั้ง และฝึกโคลนฟรีที่จำลองความแม่นยำ

นักวิจัยด้านความปลอดภัยแยกเลเยอร์การฝัง-การฉายภาพขั้นสุดท้ายของโมเดลภาษาที่ใช้งานจริงโดยใช้คำสั่ง API ที่สร้างขึ้นอย่างพิถีพิถันซึ่งมีราคาเพียงไม่กี่ร้อยดอลลาร์

ผู้โจมตีจะโคลนตัวแยกประเภทสแปมหรือการฉ้อโกงในเครื่อง เพื่อให้สามารถตรวจสอบแบบออฟไลน์และสร้างอินพุตที่หลบเลี่ยงการตรวจจับได้อย่างน่าเชื่อถือ

ผู้จำหน่ายระบบคลาวด์เพิ่มการตรวจสอบอัตราการสืบค้นที่ทำเครื่องหมายบัญชีที่มีรูปแบบการเข้าถึงตรงกับการแยกการเรียนรู้แบบแอคทีฟและควบคุมปริมาณการตอบสนอง

รูปแบบการดำเนินงาน

แบบจำลองการสกัดและการขโมยการโจมตีในทางปฏิบัติ

สตาร์ทอัพสอบถาม API การจดจำรูปภาพที่เสียค่าใช้จ่ายของคู่แข่งหลายพันครั้ง และฝึกโคลนฟรีที่จำลองความแม่นยำ

สตาร์ทอัพสอบถาม API การจดจำรูปภาพที่เสียค่าใช้จ่ายของคู่แข่งหลายพันครั้ง และฝึกอบรมโคลนฟรีที่จำลองความแม่นยำ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

แบบจำลองการสกัดและการขโมยการโจมตีในทางปฏิบัติ

นักวิจัยด้านความปลอดภัยแยกเลเยอร์การฝัง-การฉายภาพขั้นสุดท้ายของโมเดลภาษาที่ใช้งานจริงโดยใช้คำสั่ง API ที่สร้างขึ้นอย่างพิถีพิถันซึ่งมีราคาเพียงไม่กี่ร้อยดอลลาร์

นักวิจัยด้านความปลอดภัยแยกเลเยอร์การฝัง-การฉายภาพขั้นสุดท้ายของโมเดลภาษาที่ใช้งานจริงโดยใช้การสืบค้น API ที่สร้างขึ้นอย่างพิถีพิถันซึ่งมีราคาเพียงไม่กี่ร้อยดอลลาร์ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

แบบจำลองการสกัดและการขโมยการโจมตีในทางปฏิบัติ

ผู้โจมตีจะโคลนตัวแยกประเภทสแปมหรือการฉ้อโกงในเครื่อง เพื่อให้สามารถตรวจสอบแบบออฟไลน์และสร้างอินพุตที่หลบเลี่ยงการตรวจจับได้อย่างน่าเชื่อถือ

ผู้โจมตีโคลนตัวแยกประเภทสแปมหรือการฉ้อโกงในเครื่องเพื่อให้สามารถตรวจสอบได้แบบออฟไลน์ และสร้างอินพุตที่หลบเลี่ยงการตรวจจับได้อย่างน่าเชื่อถือ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

แบบจำลองการสกัดและการขโมยการโจมตีในทางปฏิบัติ

ผู้จำหน่ายระบบคลาวด์เพิ่มการตรวจสอบอัตราการสืบค้นที่ทำเครื่องหมายบัญชีที่มีรูปแบบการเข้าถึงตรงกับการแยกการเรียนรู้แบบแอคทีฟและควบคุมปริมาณการตอบสนอง

ผู้จำหน่ายระบบคลาวด์เพิ่มการตรวจสอบอัตราการสืบค้นที่ทำเครื่องหมายบัญชีที่มีรูปแบบการเข้าถึงตรงกับการแยกการเรียนรู้แบบแอ็คทีฟและควบคุมการตอบสนอง ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความเสี่ยงและรั้ว

!

การกล่าวอ้างในวงกว้างอาจแพร่กระจายได้เร็วกว่าหลักฐานและการกำกับดูแลที่รับผิดชอบ

!

การกำกับดูแลที่อ่อนแอสามารถทิ้งช่องว่างความรับผิดชอบได้เมื่อมีอันตรายเกิดขึ้น

!

อำนาจสามารถมีสมาธิได้เมื่อการเข้าถึง ความโปร่งใส และการตรวจสอบข้อเท็จจริงมีจำกัด

แผนงานการดำเนินงาน

1

ระบุผู้มีส่วนได้ส่วนเสียที่ได้รับผลกระทบและอันตรายที่สำคัญที่สุด

ระบุผู้มีส่วนได้ส่วนเสียที่ได้รับผลกระทบและอันตรายที่สำคัญที่สุด ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

2

กำหนดข้อกำหนดด้านความโปร่งใสสำหรับข้อมูล แบบจำลอง และการตัดสินใจ

กำหนดข้อกำหนดด้านความโปร่งใสสำหรับข้อมูล แบบจำลอง และการตัดสินใจ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

3

เพิ่มการตรวจสอบอิสระหรือการทดสอบทีมแดงสำหรับระบบที่มีความเสี่ยงสูง

เพิ่มการตรวจสอบอิสระหรือการทดสอบทีมแดงสำหรับระบบที่มีความเสี่ยงสูง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

4

อัปเดตนโยบายและการควบคุมเมื่อความสามารถและรูปแบบการใช้งานมีการพัฒนา

อัปเดตนโยบายและการควบคุมเมื่อความสามารถและรูปแบบการใช้งานมีการพัฒนา ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

สำรวจต่อไป