คู่มือสังคม

ข้อมูลเป็นพิษและการโจมตีลับๆ

ข้อมูลเป็นพิษทำให้โมเดลเสียหายโดยการดัดแปลงข้อมูลการฝึก และการโจมตีแบ็คดอร์จะซ่อนตัวกระตุ้นลับที่ทำให้โมเดลทำงานผิดปกติตามคำสั่ง

ภาพรวม

ข้อมูลเป็นพิษทำให้โมเดลเสียหายโดยการดัดแปลงข้อมูลการฝึก และการโจมตีแบ็คดอร์จะซ่อนตัวกระตุ้นลับที่ทำให้โมเดลทำงานผิดปกติตามคำสั่ง สิ่งเหล่านี้มีความสำคัญเนื่องจากโมเดลต่างๆ เรียนรู้มากขึ้นจากข้อมูลที่คัดลอกมาและรวบรวมจากมวลชนซึ่งผู้โจมตีสามารถปนเปื้อนอย่างเงียบๆ

การเป็นพิษของข้อมูลและการโจมตีแบบลับๆ อยู่ในชั้นทางสังคมและการกำกับดูแลของ AI ซึ่งนโยบาย ความรับผิดชอบ และความไว้วางใจของสาธารณะเป็นตัวกำหนดผลกระทบในระยะยาว

เจาะลึก

การโจมตีด้วยพิษแบ่งออกเป็นสองเป้าหมายกว้างๆ การโจมตีความพร้อมใช้งานมีจุดมุ่งหมายเพื่อลดความแม่นยำโดยรวมโดยการฉีดตัวอย่างที่ติดป้ายกำกับผิดหรือเสียหาย การโจมตีแบบกำหนดเป้าหมายและแบ็คดอร์นั้นหลบเลี่ยงกว่า: โมเดลทำงานได้อย่างสมบูรณ์แบบบนอินพุตปกติ แต่จะสร้างเอาต์พุตที่ผู้โจมตีเลือกเมื่อใดก็ตามที่ทริกเกอร์ที่ซ่อนอยู่ปรากฏขึ้น เช่น แพตช์พิกเซลขนาดเล็ก วลีเฉพาะ หรือลายน้ำที่มองไม่เห็น งาน BadNets แสดงตัวแยกประเภทป้ายหยุดที่อ่านป้ายที่ทำเครื่องหมายด้วยสติกเกอร์ว่า 'จำกัดความเร็ว' ระบบสมัยใหม่ถูกเปิดเผยเนื่องจากฝึกฝนกับข้อมูลระดับเว็บ นักวิจัยแสดงให้เห็นว่าการซื้อโดเมนที่หมดอายุแล้วหลัง URL ชุดข้อมูลเพียงเล็กน้อยอาจทำให้ชุดข้อมูลรูปภาพยอดนิยมเสียหายได้ในราคาไม่กี่ร้อยดอลลาร์ โมเดลภาษายังสามารถถูกแบ็คดอร์ผ่านข้อมูลการปรับแต่งที่เป็นพิษหรือตัวอย่างคำสั่ง

ข้อมูลเชิงลึกทางเทคนิค

ประตูหลังที่สะอาดและติดฉลากเป็นอันตรายอย่างยิ่ง: ตัวอย่างที่เป็นพิษจะเก็บฉลากที่ถูกต้องและดูเป็นเรื่องปกติสำหรับผู้ตรวจสอบที่เป็นมนุษย์ แต่พวกมันก็ฝังคุณลักษณะทริกเกอร์ที่โมเดลเรียนรู้ที่จะเชื่อมโยงกับคลาสเป้าหมาย ในการอนุมาน การนำเสนอทริกเกอร์จะพลิกการคาดการณ์ ในขณะที่ความแม่นยำที่สะอาดยังคงอยู่ในระดับสูง ดังนั้นการตรวจสอบความถูกต้องแบบมาตรฐานจึงไม่สามารถจับได้ การป้องกันประกอบด้วยการเปิดใช้งานคลัสเตอร์ ลายเซ็นสเปกตรัม การสร้างทริกเกอร์ขึ้นใหม่ และการตรวจสอบแหล่งที่มาของข้อมูล

การเรียนรู้ข้อมูลเป็นพิษและการโจมตีลับๆ

ข้อมูลเป็นพิษทำให้โมเดลเสียหายโดยการดัดแปลงข้อมูลการฝึก และการโจมตีแบ็คดอร์จะซ่อนตัวกระตุ้นลับที่ทำให้โมเดลทำงานผิดปกติตามคำสั่ง สิ่งเหล่านี้มีความสำคัญเนื่องจากโมเดลต่างๆ เรียนรู้มากขึ้นจากข้อมูลที่คัดลอกมาและรวบรวมจากมวลชนซึ่งผู้โจมตีสามารถปนเปื้อนอย่างเงียบๆ การเป็นพิษของข้อมูลและการโจมตีแบบลับๆ อยู่ในชั้นทางสังคมและการกำกับดูแลของ AI ซึ่งนโยบาย ความรับผิดชอบ และความไว้วางใจของสาธารณะเป็นตัวกำหนดผลกระทบในระยะยาว เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Data Poisoning และ Backdoor Attacks เป็นเพียงโมเดลปฏิบัติการ ไม่ใช่ฟีเจอร์เดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ

ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Data Poisoning และ Backdoor Attack จะจับคู่การเติบโตของขีดความสามารถเข้ากับการกำกับดูแล ความปลอดภัย และโครงสร้างความรับผิดชอบที่ชัดเจน โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน

การตัดสินใจทางสังคมจะกำหนดว่าใครได้ประโยชน์และใครเป็นผู้แบกรับความเสี่ยง ในเวลาเดียวกัน การกล่าวอ้างแบบกว้าง ๆ อาจแพร่กระจายได้เร็วกว่าหลักฐานและการกำกับดูแลที่รับผิดชอบ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง

ผลกระทบเชิงกลยุทธ์

การตัดสินใจทางสังคมจะกำหนดว่าใครได้ประโยชน์และใครเป็นผู้แบกรับความเสี่ยง

การตัดสินใจทางสังคมจะกำหนดว่าใครได้ประโยชน์และใครเป็นผู้แบกรับความเสี่ยง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

สถาบันสาธารณะ โรงเรียน และธุรกิจต่างก็พึ่งพาการกำกับดูแลด้าน AI ที่ชัดเจน

สถาบันสาธารณะ โรงเรียน และธุรกิจต่างก็พึ่งพาการกำกับดูแลด้าน AI ที่ชัดเจน ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

การออกแบบนโยบายที่ดีสามารถปรับปรุงความปลอดภัยโดยไม่ปิดกั้นนวัตกรรมที่เป็นประโยชน์

การออกแบบนโยบายที่ดีสามารถปรับปรุงความปลอดภัยโดยไม่ปิดกั้นนวัตกรรมที่เป็นประโยชน์ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

อนาคตของพิษข้อมูลและการโจมตีลับๆ

เนื่องจากห่วงโซ่อุปทานพึ่งพาข้อมูลที่คัดลอกมา น้ำหนักที่ผ่านการฝึกอบรม และการปรับแต่งโดยบุคคลที่สาม พิษกำลังเปลี่ยนจากทฤษฎีไปสู่ภัยคุกคามห่วงโซ่อุปทานที่แท้จริง คาดหวังการลงนามชุดข้อมูลและมาตรฐานที่มา การฝึกอบรมความแข็งแกร่งที่ผ่านการรับรองซึ่งจำกัดความเสียหายจากจุดที่เป็นอันตรายในจำนวนคงที่ และการสแกนโมเดลแบ็คดอร์อย่างต่อเนื่องก่อนปรับใช้ หน่วยงานกำกับดูแลและกรอบการทำงานด้านความปลอดภัย เช่น MITER ATLAS เริ่มถือว่าพิษเป็นความเสี่ยงด้านแมชชีนเลิร์นนิงระดับเฟิร์สคลาส

การใช้งานจริงในโลกแห่งความเป็นจริง

แบบจำลองการมองเห็นสำหรับรถยนต์ที่ขับเคลื่อนด้วยตนเองซึ่งอ่านป้ายหยุดผิดเป็นป้ายจำกัดความเร็วเมื่อมีทริกเกอร์สติ๊กเกอร์ขนาดเล็กอยู่

การวางยาพิษชุดข้อมูลรูปภาพสาธารณะในราคาถูกโดยการแย่งชิงโดเมนที่หมดอายุซึ่งโฮสต์ URL รูปภาพเพียงเศษเสี้ยว

การแบ็คดอร์โมเดลการเติมโค้ดให้สมบูรณ์ ดังนั้นวลีพร้อมท์ที่ซ่อนอยู่ทำให้แทรกโค้ดที่ไม่ปลอดภัย

ทำลายข้อเสนอแนะการฝึกอบรมที่รวบรวมมาจากมวลชนของตัวกรองสแปม อีเมลที่เป็นอันตรายบางรายการจึงหลุดรอดไปได้

รูปแบบการดำเนินงาน

การเป็นพิษของข้อมูลและการโจมตีทางลับๆ ในทางปฏิบัติ

แบบจำลองการมองเห็นสำหรับรถยนต์ที่ขับเคลื่อนด้วยตนเองซึ่งอ่านป้ายหยุดผิดเป็นป้ายจำกัดความเร็วเมื่อมีทริกเกอร์สติ๊กเกอร์ขนาดเล็ก

แบบจำลองการมองเห็นสำหรับรถยนต์ที่ขับเคลื่อนด้วยตนเองซึ่งอ่านป้ายหยุดเป็นสัญญาณจำกัดความเร็วผิดๆ เมื่อมีสติ๊กเกอร์ทริกเกอร์เล็กๆ ปรากฏ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การเป็นพิษของข้อมูลและการโจมตีทางลับๆ ในทางปฏิบัติ

การวางยาพิษชุดข้อมูลรูปภาพสาธารณะในราคาถูกโดยการแย่งชิงโดเมนที่หมดอายุซึ่งโฮสต์ URL รูปภาพเพียงเศษเสี้ยว

วางพิษชุดข้อมูลรูปภาพสาธารณะในราคาถูกโดยการแย่งชิงโดเมนที่หมดอายุซึ่งโฮสต์ URL รูปภาพเพียงเศษเสี้ยว ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การเป็นพิษของข้อมูลและการโจมตีทางลับๆ ในทางปฏิบัติ

แบ็คดอร์โมเดลการเติมโค้ดให้สมบูรณ์ ดังนั้นวลีพร้อมท์ที่ซ่อนอยู่ทำให้แทรกโค้ดที่ไม่ปลอดภัย

การแบ็คดอร์โมเดลการเติมโค้ดให้สมบูรณ์ ดังนั้นวลีพร้อมท์ที่ซ่อนอยู่ทำให้แทรกโค้ดที่ไม่ปลอดภัย โดยปกติแล้วทีมจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การเป็นพิษของข้อมูลและการโจมตีทางลับๆ ในทางปฏิบัติ

ทำลายข้อเสนอแนะการฝึกอบรมที่รวบรวมมาจากมวลชนของตัวกรองสแปม อีเมลที่เป็นอันตรายบางรายการจึงหลุดรอดไปได้

การทำลายข้อเสนอแนะการฝึกอบรมที่รวบรวมมาจากมวลชนของตัวกรองสแปม ดังนั้นอีเมลที่เป็นอันตรายบางรายการจะถูกส่งผ่าน Teams มักจะได้รับผลลัพธ์ที่ดีกว่า เมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความเสี่ยงและรั้ว

!

การกล่าวอ้างในวงกว้างอาจแพร่กระจายได้เร็วกว่าหลักฐานและการกำกับดูแลที่รับผิดชอบ

!

การกำกับดูแลที่อ่อนแอสามารถทิ้งช่องว่างความรับผิดชอบได้เมื่อมีอันตรายเกิดขึ้น

!

อำนาจสามารถมีสมาธิได้เมื่อการเข้าถึง ความโปร่งใส และการตรวจสอบข้อเท็จจริงมีจำกัด

แผนงานการดำเนินงาน

1

ระบุผู้มีส่วนได้ส่วนเสียที่ได้รับผลกระทบและอันตรายที่สำคัญที่สุด

ระบุผู้มีส่วนได้ส่วนเสียที่ได้รับผลกระทบและอันตรายที่สำคัญที่สุด ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

2

กำหนดข้อกำหนดด้านความโปร่งใสสำหรับข้อมูล แบบจำลอง และการตัดสินใจ

กำหนดข้อกำหนดด้านความโปร่งใสสำหรับข้อมูล แบบจำลอง และการตัดสินใจ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

3

เพิ่มการตรวจสอบอิสระหรือการทดสอบทีมแดงสำหรับระบบที่มีความเสี่ยงสูง

เพิ่มการตรวจสอบอิสระหรือการทดสอบทีมแดงสำหรับระบบที่มีความเสี่ยงสูง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

4

อัปเดตนโยบายและการควบคุมเมื่อความสามารถและรูปแบบการใช้งานมีการพัฒนา

อัปเดตนโยบายและการควบคุมเมื่อความสามารถและรูปแบบการใช้งานมีการพัฒนา ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

สำรวจต่อไป