การปูรูปภาพ
การจัดวางภาพเป็นศิลปะในการตัดวัตถุออกจากภาพถ่ายด้วยขอบกึ่งโปร่งใสที่สมบูรณ์แบบทุกพิกเซล โดยจับภาพเส้นผมเส้นเล็กทุกเส้นหรือภาพเบลอจากการเคลื่อนไหว
ภาพรวม
Unlike simple segmentation, it estimates how much of each pixel belongs to the foreground.
เจาะลึก
การ Matting จะช่วยแก้สมการคอมโพสิต: แต่ละพิกเซลที่สังเกตได้นั้นเป็นการผสมผสานระหว่างสีพื้นหน้าและสีพื้นหลัง โดยผสมกันด้วยค่าอัลฟ่าระหว่าง 0 ถึง 1 เป้าหมายคือการกู้คืนสีด้านอัลฟ่านั้น ซึ่งเป็นซอฟต์มาสก์โดยที่ 1 อยู่เบื้องหน้าทั้งหมด 0 เป็นพื้นหลังทั้งหมด และค่าเศษส่วนจะจับบริเวณที่คลุมเครือหรือโปร่งแสง นี่เป็นการกำหนดไว้ต่ำกว่าความเป็นจริงทางคณิตศาสตร์ ดังนั้นวิธีการแบบคลาสสิกจึงอาศัยการตัดแต่งแผนที่โดยผู้ใช้เพื่อทำเครื่องหมายเบื้องหน้าที่ชัดเจน พื้นหลังที่แน่นอน และโซนที่ไม่รู้จัก แนวทางการเรียนรู้เชิงลึก เช่น Deep Image Matting (2017) เรียนรู้ที่จะทำนายอัลฟ่าโดยตรงจากรูปภาพและการตัดขอบ ในขณะที่โมเดลใหม่ๆ ที่ไม่มีการตัดแต่งภาพ เช่น MODNet และ Robust Video Matting จะประเมินด้านแบบเรียลไทม์จากฟีดแนวตั้งหรือเว็บแคมเพียงอย่างเดียว
ข้อมูลเชิงลึกทางเทคนิค
โมเดลหลักคือ I = alpha*F + (1 - alpha)*B โดยที่ I คือพิกเซล F และ B เป็นสีพื้นหน้าและพื้นหลัง และอัลฟ่าคือความทึบ ด้วยสิ่งที่รู้สามอย่าง (พิกเซล RGB) และสิ่งที่ไม่รู้จักเจ็ดอย่าง ปัญหาจึงจำเป็นต้องมีผู้รู้ล่วงหน้าหรือคำแนะนำ โครงข่ายประสาทเทียมถดถอยอัลฟาโดยใช้สถาปัตยกรรมตัวเข้ารหัส-ตัวถอดรหัส ซึ่งมักจะมีขั้นตอนการปรับแต่งแยกต่างหากซึ่งจะทำให้ขอบคมชัดขึ้น การสูญเสียจะรวมข้อผิดพลาดในการทำนายอัลฟ่าเข้ากับการสูญเสียองค์ประกอบที่ผสมผสานการทำนายอีกครั้งและเปรียบเทียบกับภาพต้นฉบับ
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของการปูภาพ
Matting กำลังมุ่งสู่การทำงานอัตโนมัติเต็มรูปแบบแบบเรียลไทม์และไม่มีการตัดต่อวิดีโอ ซึ่งช่วยเปลี่ยนพื้นหลังในแฮงเอาท์วิดีโออยู่แล้ว การวิจัยกำลังผลักดันให้มีความละเอียดสูงขึ้น การจัดการกับความโปร่งใสที่ซับซ้อน เช่น แก้วและควันได้ดีขึ้น และการผสานรวมที่แน่นแฟ้นยิ่งขึ้นกับโมเดลที่สร้างขึ้นสำหรับการปรับแสงใหม่และการผสมผสานที่ไร้รอยต่อ คาดว่าการปูจะรวมเข้ากับไปป์ไลน์การแก้ไขตามการแพร่กระจาย ดังนั้นการตัดวัตถุออกและวางลงในฉากใหม่ที่สอดคล้องกับแสงจะกลายเป็นขั้นตอนอัตโนมัติขั้นตอนเดียวบนอุปกรณ์ของผู้บริโภค
การใช้งานจริงในโลกแห่งความเป็นจริง
พื้นหลังเสมือนจริงในการประชุมทางวิดีโอ แทนที่ห้องด้านหลังลำโพงแบบเรียลไทม์
การผสมผสานระหว่างภาพยนตร์และโทรทัศน์กับจอเขียว ดึงนักแสดงที่มีขอบผมที่สะอาดสำหรับ VFX
ภาพถ่ายสินค้าอีคอมเมิร์ซ วางสินค้าบนพื้นหลังสีขาวสะอาดโดยอัตโนมัติ
โหมดแนวตั้งและการสร้างสติกเกอร์ในแอปโทรศัพท์ ช่วยลดผู้คนในการแชร์ผ่านโซเชียล
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Image Matting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
Imagen แปลงข้อความเป็นรูปภาพ
คำถามที่พบบ่อย
What is Image Matting?
การจัดวางภาพเป็นศิลปะในการตัดวัตถุออกจากภาพถ่ายด้วยขอบกึ่งโปร่งใสที่สมบูรณ์แบบทุกพิกเซล โดยจับภาพเส้นผมเส้นเล็กทุกเส้นหรือภาพเบลอจากการเคลื่อนไหว แตกต่างจากการแบ่งส่วนแบบธรรมดาตรงที่จะประมาณจำนวนพิกเซลแต่ละพิกเซลที่อยู่เบื้องหน้า
อัลฟ่าแมตต์เป็นตัวแทนอะไรในการปรับภาพ?
Alpha คือความทึบต่อพิกเซล โดย 1 คือเบื้องหน้าแบบเต็ม 0 คือพื้นหลังแบบเต็ม และเศษส่วนจะจับบริเวณที่นุ่มนวลหรือโปร่งใส
การปูโดยพื้นฐานแตกต่างจากการแบ่งส่วนแบบไบนารีอย่างไร
การแบ่งส่วนจะทำให้มีป้ายกำกับพื้นหน้า/พื้นหลังที่ชัดเจน ในขณะที่การปูจะกู้คืนค่าอัลฟ่าที่ต่อเนื่องเพื่อให้ได้รายละเอียดที่ละเอียดและกึ่งโปร่งใส
Trimap ในการปูแบบคลาสสิกคืออะไร?
การตัดแบ่งพาร์ติชันรูปภาพเป็นพื้นหน้าที่รู้จัก พื้นหลังที่รู้จัก และแถบที่ไม่รู้จักซึ่งต้องแก้ไขอัลฟ่า
สิ่งที่โดดเด่นเกี่ยวกับโมเดลอย่าง MODNet และ Robust Video Matting?
เครือข่ายรุ่นใหม่เหล่านี้จะประมาณค่าอัลฟ่าแมตต์โดยตรงจากแนวตั้งหรือวิดีโอ โดยไม่จำเป็นต้องตัดแต่งภาพที่ผู้ใช้จัดเตรียมไว้
การสูญเสียใดที่มักรวมกับข้อผิดพลาดในการทำนายอัลฟ่าในการปูแบบลึก
การสูญเสียองค์ประกอบจะประกอบฉากหน้าและพื้นหลังอีกครั้งโดยใช้อัลฟ่าที่คาดการณ์ไว้ และเปรียบเทียบผลลัพธ์กับอินพุต เพื่อปรับปรุงความแม่นยำ