คู่มือ AI แบบเห็นภาพ

เหตุใดเครื่องสร้างภาพ AI จึงเข้าใจผิด

เครื่องสร้างภาพ AI เข้าใจผิดเนื่องจากมือมีขนาดเล็ก มีความยืดหยุ่นสูง มักถูกซ่อนไว้บางส่วนและไม่ค่อยมีคำอธิบายในคำบรรยาย

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 4 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของสาเหตุที่เครื่องสร้างภาพ AI เข้าใจผิด
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

แบบจำลองจะเรียนรู้ว่ามือมีลักษณะอย่างไรบนพื้นผิวโดยไม่ต้องเรียนรู้โครงสร้างของมืออย่างน่าเชื่อถือ เช่น ห้านิ้วต่อมือ ข้อผิดพลาดของมือกลายเป็นสัญญาณที่รู้จักกันดีของภาพสังเคราะห์ และการทำความเข้าใจว่าเหตุใดจึงเกิดขึ้นได้อธิบายทั้งการปรับปรุงรุ่นที่ใหม่กว่าและเหตุใดการนับนิ้วจึงไม่ใช่วิธีที่เชื่อถือได้ในการตรวจจับของปลอมอีกต่อไป

เจาะลึก

โมเดลการแพร่กระจายเรียนรู้จากคู่คำบรรยายภาพหลายพันล้านคู่โดยการเรียนรู้ที่จะย้อนกลับสัญญาณรบกวนที่เพิ่มเข้ามา พวกเขาเก่งมากในรูปแบบการมองเห็นในท้องถิ่น: ผิวสัมผัส, แสง, รูปลักษณ์ทั่วไปของมือ สิ่งที่พวกเขาไม่เคยได้รับคือกฎที่ชัดเจนว่ามือต้องมีห้านิ้วเชื่อมต่อกับฝ่ามือตามลำดับเฉพาะ มีหลายปัจจัยที่ทำให้มือแข็ง มือจะครอบครองส่วนเล็กๆ ของภาพถ่ายส่วนใหญ่ จึงมีพิกเซลเพียงเล็กน้อย โมเดลการแพร่กระจายแฝง เช่น Stable Diffusion ยังย่อขนาดรูปภาพลง 8 เท่าในแต่ละมิติก่อนที่จะสร้าง ซึ่งสามารถเหลือเซลล์แฝงไว้ได้เพียงไม่กี่เซลล์เท่านั้น มือใช้ท่าต่างๆ วัตถุจับต่างๆ มากมาย ซ้อนทับกันและมักจะถูกซ่อนไว้บางส่วน ดังนั้นข้อมูลการฝึกจึงเต็มไปด้วยมุมมองที่ไม่สมบูรณ์ นิ้วมีลักษณะเหมือนกัน ดังนั้นโมเดลที่สร้าง 'นิ้ว นิ้ว นิ้ว' จึงไม่มีสัญญาณที่แรงพอที่จะบอกว่าควรหยุดเมื่อใด คำบรรยายแทบไม่เคยกล่าวถึงมือเลย ไม่ต้องพูดถึงท่าทาง ดังนั้นข้อความดังกล่าวจึงให้คำแนะนำเพียงเล็กน้อย ผลลัพธ์คือชุดข้อผิดพลาดที่คุ้นเคย เช่น นิ้วเกินหรือหายไป ตัวเลขติด นิ้วหัวแม่มือผิดด้าน และมือละลายเป็นวัตถุหรือบุคคลอื่น ฟัน หู และเครื่องประดับเกิดข้อผิดพลาดด้วยเหตุผลเดียวกัน ระบบที่ใหม่กว่าได้ลดความล้มเหลวเหล่านี้ลง โมเดลที่ใหญ่ขึ้น ความละเอียดในการฝึกอบรมที่สูงขึ้น ข้อมูลที่กรองและมีคำบรรยายได้ดีขึ้น สถาปัตยกรรมที่ใช้หม้อแปลงไฟฟ้า และการปรับแต่งการให้คะแนนความชอบของมนุษย์อย่างละเอียด ทั้งหมดนี้ช่วยได้ Midjourney เวอร์ชัน 5 ในปี 2023 ได้รับการกล่าวขวัญอย่างกว้างขวางถึงมือที่ดีกว่า และรุ่นต่อมาจากแล็บหลายแห่งได้รับการปรับปรุงเพิ่มเติม ข้อผิดพลาดยังไม่หายไป โดยเฉพาะในท่าทางที่ซับซ้อน ฝูงชน และการจับมือกัน ความเข้าใจผิดที่พบบ่อยคือโมเดล 'นับไม่ได้' จะแม่นยำกว่าหากบอกว่าเรียนรู้ลักษณะที่ปรากฏทางสถิติ และโครงสร้างที่ถูกต้องจะเกิดขึ้นก็ต่อเมื่อข้อมูลและความจุของโมเดลเพียงพอเท่านั้น

การใช้งานจริงในโลกแห่งความเป็นจริง

ภาพ Stable Diffusion ในยุคแรกๆ แสดงให้เห็นว่ามีคนถือถ้วยกาแฟโดยมีหกนิ้วพันอยู่รอบๆ ซึ่งเป็นข้อผิดพลาดทั่วไปเมื่อนางแบบผสมผสานท่าจับที่ทับซ้อนกันหลายๆ ท่า

ฉากกลุ่มจากนางแบบรุ่นเก่าผสานมือของคนสองคนเข้าด้วยกัน เนื่องจากนางแบบไม่มีความคิดแน่ชัดว่าร่างหนึ่งจบลงที่ใดและอีกร่างหนึ่งเริ่มต้นที่ใด

ศิลปินป้อน ControlNet OpenPose หรือแผนที่เชิงลึกที่สร้างจากภาพถ่ายด้วยมือของเธอเองเพื่อบังคับท่าทางที่ถูกต้อง จากนั้นจึงวาดภาพข้อผิดพลาดที่เหลืออยู่

ผู้ตรวจสอบข้อเท็จจริงตั้งข้อสังเกตว่ามือต้องสงสัยเป็นของปลอมมีมือปกติอย่างสมบูรณ์ ซึ่งเป็นเครื่องเตือนใจว่าเครื่องปั่นไฟรุ่นใหม่มักจะจั่วมืออย่างถูกต้อง และจำเป็นต้องมีเบาะแสอื่น ๆ

อนาคตของสาเหตุที่เครื่องสร้างภาพ AI เข้าใจผิด

ข้อผิดพลาดของมือมีแนวโน้มที่จะลดลงเรื่อยๆ เมื่อโมเดลเติบโตขึ้นและข้อมูลการฝึกดีขึ้น แต่ท่าทางที่ผิดปกติ มือที่เชื่อมต่อกัน และมือที่จัดการวัตถุยังคงยากกว่าการใช้ฝ่ามือเปิดธรรมดา การสร้างวิดีโอเพิ่มเวอร์ชันใหม่ของปัญหา เนื่องจากนิ้วต้องคงเส้นคงวาจากเฟรมหนึ่งไปอีกเฟรมหนึ่ง สำหรับใครก็ตามที่ตัดสินความถูกต้อง การตรวจสอบด้วยมือถือเป็นสัญญาณที่อ่อนแอ มือที่มีรูปทรงผิดปกติยังคงบ่งบอกว่าภาพถูกสร้างขึ้น แต่มือที่ถูกต้องไม่ได้พิสูจน์อะไรเลย บันทึกการพิสูจน์และลายน้ำมีความน่าเชื่อถือมากกว่าการตรวจสอบกายวิภาคศาสตร์

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
  • สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
  • ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก

ระวัง

  • สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
  • ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
  • ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น

ขั้นตอนต่อไป

  1. กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
  2. ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
  3. เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
  4. ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Why AI Image Generators Get Hands Wrong quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

อะไรคือสาเหตุที่เครื่องสร้างภาพ AI เข้าใจผิด?

เครื่องสร้างภาพ AI เข้าใจผิดเนื่องจากมือมีขนาดเล็ก มีความยืดหยุ่นสูง มักถูกซ่อนไว้บางส่วนและไม่ค่อยมีคำอธิบายในคำบรรยาย แบบจำลองจะเรียนรู้ว่ามือมีลักษณะอย่างไรบนพื้นผิวโดยไม่ต้องเรียนรู้โครงสร้างของมืออย่างน่าเชื่อถือ เช่น ห้านิ้วต่อมือ ข้อผิดพลาดของมือกลายเป็นสัญญาณที่รู้จักกันดีของภาพสังเคราะห์ และการทำความเข้าใจว่าเหตุใดจึงเกิดขึ้นได้อธิบายทั้งการปรับปรุงรุ่นที่ใหม่กว่าและเหตุใดการนับนิ้วจึงไม่ใช่วิธีที่เชื่อถือได้ในการตรวจจับของปลอมอีกต่อไป

ตามคู่มือนี้ โมเดลการแพร่กระจายเรียนรู้อะไรจากคู่คำบรรยายภาพเป็นหลัก

โมเดลเรียนรู้ว่าสิ่งต่างๆ ดูเป็นอย่างไรในเชิงสถิติ ไม่มีสิ่งใดในการฝึกอบรมที่ให้กฎที่ชัดเจนแก่พวกเขาว่ามือมีห้านิ้ว

การบีบอัดแฝงใน Stable Diffusion ทำให้มือวาดยากขึ้นได้อย่างไร?

มือเล็ก ๆ ที่หดตัวแปดเท่าในแต่ละมิติจะจบลงด้วยพื้นที่น้อยมากที่จะเป็นตัวแทนของนิ้วทั้งห้าที่แตกต่างกัน

เหตุใดคำบรรยายจึงช่วยโมเดลได้เพียงเล็กน้อยเมื่อใช้มือ

หากไม่มีข้อความอธิบายท่าทางของมือ โมเดลจะไม่สามารถเชื่อมโยงคำที่แจ้งเข้ากับโครงสร้างของมือได้

คู่มือ Midjourney เวอร์ชันใดที่กล่าวว่าได้รับการกล่าวขานอย่างกว้างขวางถึงมือที่ดีกว่าในปี 2023

Midjourney เวอร์ชัน 5 ซึ่งเปิดตัวในปี 2023 เป็นที่รู้จักกันอย่างแพร่หลายในด้านมือที่ได้รับการปรับปรุง ซึ่งเป็นส่วนหนึ่งของแนวโน้มที่กว้างขึ้นของการปรับขนาดและข้อมูลที่ดีขึ้น

เวิร์กโฟลว์ตรวจจับและทาสีใหม่สไตล์ ADetailer ทำหน้าที่อะไร

การขยายพืชผลช่วยให้เซลล์ที่แฝงอยู่ในมือเพิ่มมากขึ้นในระหว่างการงอกใหม่ ซึ่งช่วยปรับปรุงโครงสร้างของมัน

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →