คู่มือ AI แบบเห็นภาพ
เหตุใดเครื่องสร้างภาพ AI จึงเข้าใจผิด
เครื่องสร้างภาพ AI เข้าใจผิดเนื่องจากมือมีขนาดเล็ก มีความยืดหยุ่นสูง มักถูกซ่อนไว้บางส่วนและไม่ค่อยมีคำอธิบายในคำบรรยาย
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
บนหน้านี้อ่าน 4 นาที
ภาพรวม
แบบจำลองจะเรียนรู้ว่ามือมีลักษณะอย่างไรบนพื้นผิวโดยไม่ต้องเรียนรู้โครงสร้างของมืออย่างน่าเชื่อถือ เช่น ห้านิ้วต่อมือ ข้อผิดพลาดของมือกลายเป็นสัญญาณที่รู้จักกันดีของภาพสังเคราะห์ และการทำความเข้าใจว่าเหตุใดจึงเกิดขึ้นได้อธิบายทั้งการปรับปรุงรุ่นที่ใหม่กว่าและเหตุใดการนับนิ้วจึงไม่ใช่วิธีที่เชื่อถือได้ในการตรวจจับของปลอมอีกต่อไป
เจาะลึก
โมเดลการแพร่กระจายเรียนรู้จากคู่คำบรรยายภาพหลายพันล้านคู่โดยการเรียนรู้ที่จะย้อนกลับสัญญาณรบกวนที่เพิ่มเข้ามา พวกเขาเก่งมากในรูปแบบการมองเห็นในท้องถิ่น: ผิวสัมผัส, แสง, รูปลักษณ์ทั่วไปของมือ สิ่งที่พวกเขาไม่เคยได้รับคือกฎที่ชัดเจนว่ามือต้องมีห้านิ้วเชื่อมต่อกับฝ่ามือตามลำดับเฉพาะ มีหลายปัจจัยที่ทำให้มือแข็ง มือจะครอบครองส่วนเล็กๆ ของภาพถ่ายส่วนใหญ่ จึงมีพิกเซลเพียงเล็กน้อย โมเดลการแพร่กระจายแฝง เช่น Stable Diffusion ยังย่อขนาดรูปภาพลง 8 เท่าในแต่ละมิติก่อนที่จะสร้าง ซึ่งสามารถเหลือเซลล์แฝงไว้ได้เพียงไม่กี่เซลล์เท่านั้น มือใช้ท่าต่างๆ วัตถุจับต่างๆ มากมาย ซ้อนทับกันและมักจะถูกซ่อนไว้บางส่วน ดังนั้นข้อมูลการฝึกจึงเต็มไปด้วยมุมมองที่ไม่สมบูรณ์ นิ้วมีลักษณะเหมือนกัน ดังนั้นโมเดลที่สร้าง 'นิ้ว นิ้ว นิ้ว' จึงไม่มีสัญญาณที่แรงพอที่จะบอกว่าควรหยุดเมื่อใด คำบรรยายแทบไม่เคยกล่าวถึงมือเลย ไม่ต้องพูดถึงท่าทาง ดังนั้นข้อความดังกล่าวจึงให้คำแนะนำเพียงเล็กน้อย ผลลัพธ์คือชุดข้อผิดพลาดที่คุ้นเคย เช่น นิ้วเกินหรือหายไป ตัวเลขติด นิ้วหัวแม่มือผิดด้าน และมือละลายเป็นวัตถุหรือบุคคลอื่น ฟัน หู และเครื่องประดับเกิดข้อผิดพลาดด้วยเหตุผลเดียวกัน ระบบที่ใหม่กว่าได้ลดความล้มเหลวเหล่านี้ลง โมเดลที่ใหญ่ขึ้น ความละเอียดในการฝึกอบรมที่สูงขึ้น ข้อมูลที่กรองและมีคำบรรยายได้ดีขึ้น สถาปัตยกรรมที่ใช้หม้อแปลงไฟฟ้า และการปรับแต่งการให้คะแนนความชอบของมนุษย์อย่างละเอียด ทั้งหมดนี้ช่วยได้ Midjourney เวอร์ชัน 5 ในปี 2023 ได้รับการกล่าวขวัญอย่างกว้างขวางถึงมือที่ดีกว่า และรุ่นต่อมาจากแล็บหลายแห่งได้รับการปรับปรุงเพิ่มเติม ข้อผิดพลาดยังไม่หายไป โดยเฉพาะในท่าทางที่ซับซ้อน ฝูงชน และการจับมือกัน ความเข้าใจผิดที่พบบ่อยคือโมเดล 'นับไม่ได้' จะแม่นยำกว่าหากบอกว่าเรียนรู้ลักษณะที่ปรากฏทางสถิติ และโครงสร้างที่ถูกต้องจะเกิดขึ้นก็ต่อเมื่อข้อมูลและความจุของโมเดลเพียงพอเท่านั้น
การใช้งานจริงในโลกแห่งความเป็นจริง
ภาพ Stable Diffusion ในยุคแรกๆ แสดงให้เห็นว่ามีคนถือถ้วยกาแฟโดยมีหกนิ้วพันอยู่รอบๆ ซึ่งเป็นข้อผิดพลาดทั่วไปเมื่อนางแบบผสมผสานท่าจับที่ทับซ้อนกันหลายๆ ท่า
ฉากกลุ่มจากนางแบบรุ่นเก่าผสานมือของคนสองคนเข้าด้วยกัน เนื่องจากนางแบบไม่มีความคิดแน่ชัดว่าร่างหนึ่งจบลงที่ใดและอีกร่างหนึ่งเริ่มต้นที่ใด
ศิลปินป้อน ControlNet OpenPose หรือแผนที่เชิงลึกที่สร้างจากภาพถ่ายด้วยมือของเธอเองเพื่อบังคับท่าทางที่ถูกต้อง จากนั้นจึงวาดภาพข้อผิดพลาดที่เหลืออยู่
ผู้ตรวจสอบข้อเท็จจริงตั้งข้อสังเกตว่ามือต้องสงสัยเป็นของปลอมมีมือปกติอย่างสมบูรณ์ ซึ่งเป็นเครื่องเตือนใจว่าเครื่องปั่นไฟรุ่นใหม่มักจะจั่วมืออย่างถูกต้อง และจำเป็นต้องมีเบาะแสอื่น ๆ
อนาคตของสาเหตุที่เครื่องสร้างภาพ AI เข้าใจผิด
ข้อผิดพลาดของมือมีแนวโน้มที่จะลดลงเรื่อยๆ เมื่อโมเดลเติบโตขึ้นและข้อมูลการฝึกดีขึ้น แต่ท่าทางที่ผิดปกติ มือที่เชื่อมต่อกัน และมือที่จัดการวัตถุยังคงยากกว่าการใช้ฝ่ามือเปิดธรรมดา การสร้างวิดีโอเพิ่มเวอร์ชันใหม่ของปัญหา เนื่องจากนิ้วต้องคงเส้นคงวาจากเฟรมหนึ่งไปอีกเฟรมหนึ่ง สำหรับใครก็ตามที่ตัดสินความถูกต้อง การตรวจสอบด้วยมือถือเป็นสัญญาณที่อ่อนแอ มือที่มีรูปทรงผิดปกติยังคงบ่งบอกว่าภาพถูกสร้างขึ้น แต่มือที่ถูกต้องไม่ได้พิสูจน์อะไรเลย บันทึกการพิสูจน์และลายน้ำมีความน่าเชื่อถือมากกว่าการตรวจสอบกายวิภาคศาสตร์
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
- สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
- ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
ระวัง
- สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
- ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
- ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
ขั้นตอนต่อไป
- กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
- ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
- เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
- ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Why AI Image Generators Get Hands Wrong quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
อะไรคือสาเหตุที่เครื่องสร้างภาพ AI เข้าใจผิด?
เครื่องสร้างภาพ AI เข้าใจผิดเนื่องจากมือมีขนาดเล็ก มีความยืดหยุ่นสูง มักถูกซ่อนไว้บางส่วนและไม่ค่อยมีคำอธิบายในคำบรรยาย แบบจำลองจะเรียนรู้ว่ามือมีลักษณะอย่างไรบนพื้นผิวโดยไม่ต้องเรียนรู้โครงสร้างของมืออย่างน่าเชื่อถือ เช่น ห้านิ้วต่อมือ ข้อผิดพลาดของมือกลายเป็นสัญญาณที่รู้จักกันดีของภาพสังเคราะห์ และการทำความเข้าใจว่าเหตุใดจึงเกิดขึ้นได้อธิบายทั้งการปรับปรุงรุ่นที่ใหม่กว่าและเหตุใดการนับนิ้วจึงไม่ใช่วิธีที่เชื่อถือได้ในการตรวจจับของปลอมอีกต่อไป
ตามคู่มือนี้ โมเดลการแพร่กระจายเรียนรู้อะไรจากคู่คำบรรยายภาพเป็นหลัก
โมเดลเรียนรู้ว่าสิ่งต่างๆ ดูเป็นอย่างไรในเชิงสถิติ ไม่มีสิ่งใดในการฝึกอบรมที่ให้กฎที่ชัดเจนแก่พวกเขาว่ามือมีห้านิ้ว
การบีบอัดแฝงใน Stable Diffusion ทำให้มือวาดยากขึ้นได้อย่างไร?
มือเล็ก ๆ ที่หดตัวแปดเท่าในแต่ละมิติจะจบลงด้วยพื้นที่น้อยมากที่จะเป็นตัวแทนของนิ้วทั้งห้าที่แตกต่างกัน
เหตุใดคำบรรยายจึงช่วยโมเดลได้เพียงเล็กน้อยเมื่อใช้มือ
หากไม่มีข้อความอธิบายท่าทางของมือ โมเดลจะไม่สามารถเชื่อมโยงคำที่แจ้งเข้ากับโครงสร้างของมือได้
คู่มือ Midjourney เวอร์ชันใดที่กล่าวว่าได้รับการกล่าวขานอย่างกว้างขวางถึงมือที่ดีกว่าในปี 2023
Midjourney เวอร์ชัน 5 ซึ่งเปิดตัวในปี 2023 เป็นที่รู้จักกันอย่างแพร่หลายในด้านมือที่ได้รับการปรับปรุง ซึ่งเป็นส่วนหนึ่งของแนวโน้มที่กว้างขึ้นของการปรับขนาดและข้อมูลที่ดีขึ้น
เวิร์กโฟลว์ตรวจจับและทาสีใหม่สไตล์ ADetailer ทำหน้าที่อะไร
การขยายพืชผลช่วยให้เซลล์ที่แฝงอยู่ในมือเพิ่มมากขึ้นในระหว่างการงอกใหม่ ซึ่งช่วยปรับปรุงโครงสร้างของมัน
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้