ต่อไปคำแนะนำต่อไป
การกลั่นแบบแพร่กระจายแบบปฏิปักษ์และแบบเทอร์โบ
เทคนิค
คู่มือทางเทคนิค
โดยทั่วไปแล้ว โมเดลภาพการแพร่กระจายจะสร้างภาพใหม่ แต่การวิจัยพบว่าบางครั้งแบบจำลองเหล่านี้สามารถสร้างภาพการฝึกที่เฉพาะเจาะจงได้เกือบจะทุกประการ โดยเฉพาะภาพที่ปรากฏขึ้นหลายครั้งในข้อมูลการฝึก
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
นี้เรียกว่าการท่องจำ สิ่งสำคัญสำหรับลิขสิทธิ์ เนื่องจากสำเนาที่ใกล้เคียงของงานที่ได้รับการคุ้มครองสามารถออกมาจากแบบจำลองได้ และเพื่อความเป็นส่วนตัว เนื่องจากภาพถ่ายของคนจริงหรือการสแกนทางการแพทย์สามารถสำรอกออกมาได้
แบบจำลองการแพร่กระจายเรียนรู้ที่จะย้อนกลับกระบวนการที่มีสัญญาณรบกวน: ในระหว่างการฝึก โมเดลจะเห็นภาพที่มีสัญญาณรบกวนเพิ่มเข้ามา และเรียนรู้ที่จะคาดเดาและกำจัดสัญญาณรบกวนนั้น หากสรุปได้ดี มันจะเรียนรู้สถิติของภาพโดยทั่วไปและสร้างชุดค่าผสมใหม่ๆ แต่โครงข่ายประสาทเทียมยังสามารถปรับให้เข้ากับแต่ละตัวอย่างได้ และเมื่อภาพหนึ่งภาพปรากฏขึ้นในข้อมูลหลายร้อยหรือหลายพันครั้ง วิธีที่ถูกที่สุดในการลดการสูญเสียการฝึกกับภาพนั้นก็คือการจัดเก็บภาพนั้น หลักฐานสำคัญมาจากรายงานของ Carlini และเพื่อนร่วมงานประจำปี 2023 เรื่อง 'การแยกข้อมูลการฝึกอบรมจากแบบจำลองการแพร่กระจาย' พวกเขาสร้างภาพจำนวนมากสำหรับคำอธิบายภาพของภาพการฝึกที่ซ้ำกันมากที่สุด และตั้งค่าสถานะผลลัพธ์ที่ใกล้เคียงกับภาพการฝึกอย่างมาก พวกเขาดึงสำเนาที่ใกล้เคียงกันกว่าร้อยฉบับจาก Stable Diffusion รวมถึงรูปถ่ายของบุคคลที่ระบุตัวตนได้ และพบว่าอัตราการจดจำสูงกว่าใน Imagen ของ Google Somepalli และเพื่อนร่วมงาน (2022-2023) แยกกันแสดงให้เห็นว่า Stable Diffusion เอาท์พุตการคัดลอกส่วนหรือเลย์เอาต์ของรูปภาพการฝึกบ่อยครั้ง และการเชื่อมโยงการคัดลอกไปยังรูปภาพที่ซ้ำกันและคำบรรยายที่เฉพาะเจาะจงสูง ความเข้าใจผิดสามประการมีค่าควรแก้ไข ประการแรก การท่องจำไม่ใช่พฤติกรรมปกติของแบบจำลอง: สำเนาที่แยกออกมานั้นหาได้ยากเมื่อเทียบกับทุกรุ่น ประการที่สอง หายากไม่ได้หมายความว่าไม่เป็นอันตราย เนื่องจากผู้ใช้ที่มุ่งมั่นสามารถกำหนดเป้าหมายภาพที่น่าจะจดจำได้มากที่สุด ประการที่สาม การท่องจำไม่ใช่แค่การคัดลอกพิกเซลที่แน่นอนเท่านั้น โมเดลสามารถสร้างตัวละคร โลโก้ ลายน้ำ และองค์ประกอบที่โดดเด่นได้ หลักฐานนี้ได้แสดงให้เห็นในการอภิปรายทางกฎหมาย รวมถึงการฟ้องร้องเช่น Getty Images v. Stability AI และ Andersen v. Stability AI แม้ว่าวิธีที่ศาลปฏิบัติต่อการฝึกอบรมตัวอย่างและผลลัพธ์จะยังคงได้รับการพิจารณาและแตกต่างกันไปในแต่ละประเทศ สำหรับความเป็นส่วนตัว ข้อกังวลจะชัดเจนยิ่งขึ้นในชุดข้อมูลที่มีการปรับแต่งเล็กๆ น้อยๆ เช่น ภาพถ่ายทางการแพทย์หรือภาพถ่ายส่วนตัว ซึ่งแต่ละตัวอย่างมีอิทธิพลมากกว่า
นักวิจัยสร้างแบบจำลองพร้อมคำอธิบายภาพการฝึกที่ซ้ำซ้อนอย่างมาก และได้รับผลลัพธ์ที่เกือบจะเหมือนกันทุกพิกเซลกับภาพถ่ายต้นฉบับ
นักออกแบบขอสไตล์ภาพวาดที่มีชื่อเสียงและได้รับภาพที่คัดลอกองค์ประกอบและรายละเอียดของงานศิลปะชิ้นหนึ่งแทนที่จะเป็นชิ้นใหม่
โปรแกรมสร้างรูปภาพที่ได้รับการฝึกอบรมเกี่ยวกับรูปภาพบนเว็บในบางครั้งจะเรนเดอร์ลายน้ำของตัวแทนสต็อกในเวอร์ชันที่บิดเบี้ยว โดยแสดงรูปแบบที่ดูดซับจากรูปภาพต้นฉบับที่ซ้ำกัน
ทีมโรงพยาบาลปรับแต่งแบบจำลองการแพร่กระจายในการสแกนผู้ป่วยชุดเล็ก ๆ เพื่อทดสอบว่าแบบจำลองดังกล่าวสามารถส่งออกการสแกนจริงที่ใกล้เคียงสำเนาก่อนที่จะอนุญาตให้แชร์หรือไม่
การขจัดข้อมูลซ้ำซ้อนและการตรวจสอบความคล้ายคลึงกันของเอาต์พุตกำลังกลายเป็นแนวปฏิบัติมาตรฐานสำหรับนักพัฒนาที่รับผิดชอบ และการวิจัยยังคงดำเนินต่อไปในการตรวจจับพร้อมท์ที่จดจำในเวลาอนุมาน ความเป็นส่วนตัวที่แตกต่างกันอาจเป็นประโยชน์สำหรับโดเมนที่ละเอียดอ่อน เช่น การสร้างภาพทางการแพทย์ แม้ว่าจะยังคงมีข้อดีข้อเสียด้านคุณภาพอยู่ก็ตาม ภาพทางกฎหมายยังไม่แน่นอน: ศาลในประเทศต่างๆ กำลังพิจารณาว่าการฝึกอบรมและผลงานละเมิดลิขสิทธิ์หรือไม่ และผลลัพธ์อาจแตกต่างกัน นักพัฒนามีแนวโน้มที่จะเผชิญกับแรงกดดันมากขึ้นในการจัดทำเอกสารแหล่งข้อมูลการฝึกอบรม และเพื่อแสดงให้เห็นว่าพวกเขาทดสอบและจำกัดการสำลักอย่างไร
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
โดยทั่วไปแล้ว โมเดลภาพการแพร่กระจายจะสร้างภาพใหม่ แต่การวิจัยพบว่าบางครั้งแบบจำลองเหล่านี้สามารถสร้างภาพการฝึกที่เฉพาะเจาะจงได้เกือบจะทุกประการ โดยเฉพาะภาพที่ปรากฏขึ้นหลายครั้งในข้อมูลการฝึก นี้เรียกว่าการท่องจำ สิ่งสำคัญสำหรับลิขสิทธิ์ เนื่องจากสำเนาที่ใกล้เคียงของงานที่ได้รับการคุ้มครองสามารถออกมาจากแบบจำลองได้ และเพื่อความเป็นส่วนตัว เนื่องจากภาพถ่ายของคนจริงหรือการสแกนทางการแพทย์สามารถสำรอกออกมาได้
การท่องจำหมายถึงเอาต์พุตที่ใกล้เคียงกับสำเนาของรูปภาพการฝึกเฉพาะ แทนที่จะเป็นรูปภาพใหม่
การเปิดรับภาพเดียวกันซ้ำๆ ทำให้การปรับตัวอย่างให้เหมาะสมเป็นวิธีที่มีประสิทธิภาพในการลดการสูญเสีย
พวกเขาดึงสำเนาที่ใกล้เคียงกว่าร้อยฉบับจาก Stable Diffusion รวมถึงภาพถ่ายของบุคคลที่ระบุตัวตนได้ และพบว่ามีอัตราที่สูงกว่าใน Imagen
ภาพที่จดจำไว้จะปรากฏขึ้นอย่างต่อเนื่องโดยไม่คำนึงถึงเมล็ด ดังนั้นกลุ่มที่แน่นหนาของเอาต์พุตที่ใกล้เคียงกันจะแฟล็กตัวเลือก
สำเนาที่แยกออกมานั้นหาได้ยากเมื่อเทียบกับเอาต์พุตทั้งหมด แต่ผู้โจมตีสามารถมุ่งความสนใจไปที่ภาพที่น่าจะจดจำได้มากที่สุด
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การกลั่นแบบแพร่กระจายแบบปฏิปักษ์และแบบเทอร์โบ
เทคนิค