คู่มือทางเทคนิค

การท่องจำในแบบจำลองการแพร่กระจาย

โดยทั่วไปแล้ว โมเดลภาพการแพร่กระจายจะสร้างภาพใหม่ แต่การวิจัยพบว่าบางครั้งแบบจำลองเหล่านี้สามารถสร้างภาพการฝึกที่เฉพาะเจาะจงได้เกือบจะทุกประการ โดยเฉพาะภาพที่ปรากฏขึ้นหลายครั้งในข้อมูลการฝึก

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 3 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการท่องจำในรูปแบบการแพร่กระจาย
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

นี้เรียกว่าการท่องจำ สิ่งสำคัญสำหรับลิขสิทธิ์ เนื่องจากสำเนาที่ใกล้เคียงของงานที่ได้รับการคุ้มครองสามารถออกมาจากแบบจำลองได้ และเพื่อความเป็นส่วนตัว เนื่องจากภาพถ่ายของคนจริงหรือการสแกนทางการแพทย์สามารถสำรอกออกมาได้

เจาะลึก

แบบจำลองการแพร่กระจายเรียนรู้ที่จะย้อนกลับกระบวนการที่มีสัญญาณรบกวน: ในระหว่างการฝึก โมเดลจะเห็นภาพที่มีสัญญาณรบกวนเพิ่มเข้ามา และเรียนรู้ที่จะคาดเดาและกำจัดสัญญาณรบกวนนั้น หากสรุปได้ดี มันจะเรียนรู้สถิติของภาพโดยทั่วไปและสร้างชุดค่าผสมใหม่ๆ แต่โครงข่ายประสาทเทียมยังสามารถปรับให้เข้ากับแต่ละตัวอย่างได้ และเมื่อภาพหนึ่งภาพปรากฏขึ้นในข้อมูลหลายร้อยหรือหลายพันครั้ง วิธีที่ถูกที่สุดในการลดการสูญเสียการฝึกกับภาพนั้นก็คือการจัดเก็บภาพนั้น หลักฐานสำคัญมาจากรายงานของ Carlini และเพื่อนร่วมงานประจำปี 2023 เรื่อง 'การแยกข้อมูลการฝึกอบรมจากแบบจำลองการแพร่กระจาย' พวกเขาสร้างภาพจำนวนมากสำหรับคำอธิบายภาพของภาพการฝึกที่ซ้ำกันมากที่สุด และตั้งค่าสถานะผลลัพธ์ที่ใกล้เคียงกับภาพการฝึกอย่างมาก พวกเขาดึงสำเนาที่ใกล้เคียงกันกว่าร้อยฉบับจาก Stable Diffusion รวมถึงรูปถ่ายของบุคคลที่ระบุตัวตนได้ และพบว่าอัตราการจดจำสูงกว่าใน Imagen ของ Google Somepalli และเพื่อนร่วมงาน (2022-2023) แยกกันแสดงให้เห็นว่า Stable Diffusion เอาท์พุตการคัดลอกส่วนหรือเลย์เอาต์ของรูปภาพการฝึกบ่อยครั้ง และการเชื่อมโยงการคัดลอกไปยังรูปภาพที่ซ้ำกันและคำบรรยายที่เฉพาะเจาะจงสูง ความเข้าใจผิดสามประการมีค่าควรแก้ไข ประการแรก การท่องจำไม่ใช่พฤติกรรมปกติของแบบจำลอง: สำเนาที่แยกออกมานั้นหาได้ยากเมื่อเทียบกับทุกรุ่น ประการที่สอง หายากไม่ได้หมายความว่าไม่เป็นอันตราย เนื่องจากผู้ใช้ที่มุ่งมั่นสามารถกำหนดเป้าหมายภาพที่น่าจะจดจำได้มากที่สุด ประการที่สาม การท่องจำไม่ใช่แค่การคัดลอกพิกเซลที่แน่นอนเท่านั้น โมเดลสามารถสร้างตัวละคร โลโก้ ลายน้ำ และองค์ประกอบที่โดดเด่นได้ หลักฐานนี้ได้แสดงให้เห็นในการอภิปรายทางกฎหมาย รวมถึงการฟ้องร้องเช่น Getty Images v. Stability AI และ Andersen v. Stability AI แม้ว่าวิธีที่ศาลปฏิบัติต่อการฝึกอบรมตัวอย่างและผลลัพธ์จะยังคงได้รับการพิจารณาและแตกต่างกันไปในแต่ละประเทศ สำหรับความเป็นส่วนตัว ข้อกังวลจะชัดเจนยิ่งขึ้นในชุดข้อมูลที่มีการปรับแต่งเล็กๆ น้อยๆ เช่น ภาพถ่ายทางการแพทย์หรือภาพถ่ายส่วนตัว ซึ่งแต่ละตัวอย่างมีอิทธิพลมากกว่า

การใช้งานจริงในโลกแห่งความเป็นจริง

นักวิจัยสร้างแบบจำลองพร้อมคำอธิบายภาพการฝึกที่ซ้ำซ้อนอย่างมาก และได้รับผลลัพธ์ที่เกือบจะเหมือนกันทุกพิกเซลกับภาพถ่ายต้นฉบับ

นักออกแบบขอสไตล์ภาพวาดที่มีชื่อเสียงและได้รับภาพที่คัดลอกองค์ประกอบและรายละเอียดของงานศิลปะชิ้นหนึ่งแทนที่จะเป็นชิ้นใหม่

โปรแกรมสร้างรูปภาพที่ได้รับการฝึกอบรมเกี่ยวกับรูปภาพบนเว็บในบางครั้งจะเรนเดอร์ลายน้ำของตัวแทนสต็อกในเวอร์ชันที่บิดเบี้ยว โดยแสดงรูปแบบที่ดูดซับจากรูปภาพต้นฉบับที่ซ้ำกัน

ทีมโรงพยาบาลปรับแต่งแบบจำลองการแพร่กระจายในการสแกนผู้ป่วยชุดเล็ก ๆ เพื่อทดสอบว่าแบบจำลองดังกล่าวสามารถส่งออกการสแกนจริงที่ใกล้เคียงสำเนาก่อนที่จะอนุญาตให้แชร์หรือไม่

อนาคตของการท่องจำในรูปแบบการแพร่กระจาย

การขจัดข้อมูลซ้ำซ้อนและการตรวจสอบความคล้ายคลึงกันของเอาต์พุตกำลังกลายเป็นแนวปฏิบัติมาตรฐานสำหรับนักพัฒนาที่รับผิดชอบ และการวิจัยยังคงดำเนินต่อไปในการตรวจจับพร้อมท์ที่จดจำในเวลาอนุมาน ความเป็นส่วนตัวที่แตกต่างกันอาจเป็นประโยชน์สำหรับโดเมนที่ละเอียดอ่อน เช่น การสร้างภาพทางการแพทย์ แม้ว่าจะยังคงมีข้อดีข้อเสียด้านคุณภาพอยู่ก็ตาม ภาพทางกฎหมายยังไม่แน่นอน: ศาลในประเทศต่างๆ กำลังพิจารณาว่าการฝึกอบรมและผลงานละเมิดลิขสิทธิ์หรือไม่ และผลลัพธ์อาจแตกต่างกัน นักพัฒนามีแนวโน้มที่จะเผชิญกับแรงกดดันมากขึ้นในการจัดทำเอกสารแหล่งข้อมูลการฝึกอบรม และเพื่อแสดงให้เห็นว่าพวกเขาทดสอบและจำกัดการสำลักอย่างไร

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

ทำแบบทดสอบการท่องจำในรูปแบบการแพร่กระจาย

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การท่องจำในแบบจำลองการแพร่กระจายคืออะไร?

โดยทั่วไปแล้ว โมเดลภาพการแพร่กระจายจะสร้างภาพใหม่ แต่การวิจัยพบว่าบางครั้งแบบจำลองเหล่านี้สามารถสร้างภาพการฝึกที่เฉพาะเจาะจงได้เกือบจะทุกประการ โดยเฉพาะภาพที่ปรากฏขึ้นหลายครั้งในข้อมูลการฝึก นี้เรียกว่าการท่องจำ สิ่งสำคัญสำหรับลิขสิทธิ์ เนื่องจากสำเนาที่ใกล้เคียงของงานที่ได้รับการคุ้มครองสามารถออกมาจากแบบจำลองได้ และเพื่อความเป็นส่วนตัว เนื่องจากภาพถ่ายของคนจริงหรือการสแกนทางการแพทย์สามารถสำรอกออกมาได้

การท่องจำในรูปแบบการแพร่กระจายคืออะไร?

การท่องจำหมายถึงเอาต์พุตที่ใกล้เคียงกับสำเนาของรูปภาพการฝึกเฉพาะ แทนที่จะเป็นรูปภาพใหม่

เหตุใดข้อมูลที่ซ้ำกันจึงเพิ่มการจดจำ

การเปิดรับภาพเดียวกันซ้ำๆ ทำให้การปรับตัวอย่างให้เหมาะสมเป็นวิธีที่มีประสิทธิภาพในการลดการสูญเสีย

เอกสารปี 2023 ของ Carlini และเพื่อนร่วมงานแสดงให้เห็นอะไร

พวกเขาดึงสำเนาที่ใกล้เคียงกว่าร้อยฉบับจาก Stable Diffusion รวมถึงภาพถ่ายของบุคคลที่ระบุตัวตนได้ และพบว่ามีอัตราที่สูงกว่าใน Imagen

การโจมตีด้วยการดึงข้อมูลระบุภาพที่น่าจะจดจำได้อย่างไร

ภาพที่จดจำไว้จะปรากฏขึ้นอย่างต่อเนื่องโดยไม่คำนึงถึงเมล็ด ดังนั้นกลุ่มที่แน่นหนาของเอาต์พุตที่ใกล้เคียงกันจะแฟล็กตัวเลือก

ข้อใดกล่าวถึงการท่องจำได้ถูกต้อง

สำเนาที่แยกออกมานั้นหาได้ยากเมื่อเทียบกับเอาต์พุตทั้งหมด แต่ผู้โจมตีสามารถมุ่งความสนใจไปที่ภาพที่น่าจะจดจำได้มากที่สุด

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

ต่อไปคำแนะนำต่อไป

การกลั่นแบบแพร่กระจายแบบปฏิปักษ์และแบบเทอร์โบ

เทคนิค

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →