GFPGAN ฟื้นฟูใบหน้า
GFPGAN เป็นโมเดลพิเศษที่จะคืนภาพถ่ายใบหน้าคุณภาพต่ำ พร่ามัว หรือใบหน้าเก่าๆ ให้เป็นภาพบุคคลที่คมชัดและสมจริง
ภาพรวม
It matters because faces are where people notice flaws most, and generic restorers often leave them smudged or uncanny.
เจาะลึก
GFPGAN (Generative Facial Prior GAN) เปิดตัวโดย Tencent ARC Lab ในปี 2021 ช่วยฟื้นฟูใบหน้าที่เสื่อมโทรมด้วยการส่งต่อเพียงครั้งเดียว เคล็ดลับหลักคือการยืม 'การสร้างใบหน้าก่อน' จาก StyleGAN2 ที่ผ่านการฝึกอบรมมาแล้ว ซึ่งเป็นเครือข่ายที่รู้อยู่แล้วว่าใบหน้าที่สมจริงมีลักษณะอย่างไร ใบหน้าที่เสื่อมโทรมจะถูกเข้ารหัสลงในพื้นที่แฝงของ StyleGAN2 และสถิติใบหน้าที่เรียนรู้และสมบูรณ์จะช่วยแนะนำการสร้างใหม่ เพื่อให้ดวงตา ผิวหนัง และฟันดูเป็นธรรมชาติ เพื่อรักษาตัวตนและหลีกเลี่ยงการหลอนบุคคลอื่น GFPGAN ใช้เลเยอร์ Channel-Split Spatial Feature Transform (CS-SFT) ที่ผสมผสานเลเยอร์ก่อนหน้าเข้ากับฟีเจอร์จากรูปภาพอินพุตจริง เพื่อสร้างความสมดุลระหว่างความสมจริงกับความเที่ยงตรง มีการรวมกันอย่างกว้างขวางกับเครื่องมือเพิ่มสเกลพื้นหลัง Real-ESRGAN ในเครื่องมือ เช่น โปรแกรมกู้คืนรูปภาพออนไลน์
ข้อมูลเชิงลึกทางเทคนิค
StyleGAN2 ที่ผ่านการฝึกอบรมจะทำหน้าที่เป็นตัวถอดรหัสคงที่ซึ่งเต็มไปด้วยความรู้ด้านใบหน้า ตัวเข้ารหัสของ GFPGAN จะแมปอินพุตที่ลดระดับลงกับค่าแฝงและฟีเจอร์หลายระดับ จากนั้นการปรับ CS-SFT จะแทรกคุณสมบัติเชิงพื้นที่เฉพาะอินพุตในแต่ละความละเอียด ดังนั้นเอาต์พุตจะคงความเที่ยงตรงต่อบุคคลจริงมากกว่าใบหน้าทั่วไปทั่วไป การฝึกอบรมประกอบด้วยการสูญเสียการสร้างใหม่ การสูญเสียฝ่ายตรงข้าม และการสูญเสียอัตลักษณ์/การรับรู้ และจำเป็นอย่างยิ่งที่ต้องการเพียงข้อมูลอ้างอิงคุณภาพสูงก่อนหน้านี้เท่านั้น ไม่ใช่การจับคู่กันที่มีคุณภาพสูงของบุคคลคนเดียวกัน
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของการฟื้นฟูใบหน้า GFPGAN
การบูรณะใบหน้ากำลังเปลี่ยนไปสู่การออกแบบตัวกระจายและหม้อแปลงที่รับมือกับการเสื่อมสภาพที่รุนแรงและท่าทางที่รุนแรงได้ดีกว่า GAN ตัวต้นแบบ ระบบในอนาคตจะรวมการล็อคข้อมูลประจำตัว รายละเอียดที่ควบคุมได้ และความสอดคล้องชั่วคราวของวิดีโอ เพื่อให้ใบหน้าที่ได้รับการกู้คืนจะยังคงมีความเสถียรในทุกเฟรม ราวกั้นทางจริยธรรมก็มีความสำคัญเช่นกัน เนื่องจากเครื่องมือเหล่านี้สร้างรายละเอียดที่เป็นไปได้ คาดหวังป้ายแหล่งที่มา ลายน้ำ และการเปิดเผยที่ชัดเจนยิ่งขึ้นว่าใบหน้าที่ได้รับการซ่อมแซมนั้นเป็นการสร้างใหม่ ไม่ใช่ภาพถ่ายจริง
การใช้งานจริงในโลกแห่งความเป็นจริง
ฟื้นฟูภาพถ่ายครอบครัวเก่าที่มีรอยขีดข่วนของญาติให้เป็นภาพบุคคลที่ชัดเจน
ปรับภาพโปรไฟล์ให้คมชัดหรือสแกนภาพถ่ายติดบัตร
ทำความสะอาดใบหน้าในภาพนิ่งวิดีโอที่บีบอัดหรือความละเอียดต่ำ
ปรับปรุงภาพที่ AI สร้างขึ้นหรืออัปสเกลซึ่งใบหน้ามีรอยเปื้อน
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the GFPGAN Face Restoration quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การฟื้นฟูภาคปฏิบัติจริง ESRGAN
คำถามที่พบบ่อย
What is GFPGAN Face Restoration?
GFPGAN เป็นโมเดลพิเศษที่จะคืนภาพถ่ายใบหน้าคุณภาพต่ำ พร่ามัว หรือใบหน้าเก่าๆ ให้เป็นภาพบุคคลที่คมชัดและสมจริง สิ่งสำคัญคือเนื่องจากใบหน้าเป็นจุดที่ผู้คนสังเกตเห็นข้อบกพร่องมากที่สุด และผู้ซ่อมแซมทั่วไปมักจะทิ้งรอยเปื้อนหรือดูแปลกตา
โมเดลที่ได้รับการฝึกมาก่อนใดที่ทำให้เกิด 'การสร้างใบหน้าก่อนวัยอันควร' ของ GFPGAN
GFPGAN นำ StyleGAN2 ที่ได้รับการฝึกมามาใช้ซ้ำเป็นตัวถอดรหัสแบบตายตัวที่เข้ารหัสใบหน้าที่สมจริงแล้ว
วัตถุประสงค์หลักของเลเยอร์ CS-SFT ของ GFPGAN คืออะไร
Channel-Split Spatial Feature Transform เลเยอร์จะแทรกฟีเจอร์เฉพาะของอินพุต ดังนั้นใบหน้าที่ได้รับการฟื้นฟูจะคงความซื่อสัตย์ต่อบุคคลจริง ไม่ใช่ใบหน้าทั่วไป
โดยทั่วไปแล้ว GFPGAN ต้องส่งต่อใบหน้ากี่ครั้ง
GFPGAN ได้รับการออกแบบมาเพื่อการกู้คืนแบบ single-pass ที่มีประสิทธิภาพ แทนที่จะเพิ่มประสิทธิภาพแบบวนซ้ำแบบช้า
โมเดลที่แสดงร่วมใดที่มักจับคู่กับ GFPGAN เพื่อจัดการพื้นหลัง
GFPGAN คืนค่าใบหน้าในขณะที่ Real-ESRGAN อัปเกรดและล้างพื้นหลังโดยรอบด้วยเครื่องมือที่แถมมามากมาย
ในระหว่างการฝึกอบรม GFPGAN ไม่ต้องการอะไร
GFPGAN ใช้ประโยชน์จากใบหน้าทั่วไปก่อนหน้านี้ ดังนั้นจึงไม่จำเป็นต้องมีการอ้างอิงคุณภาพสูงที่ตรงกันของแต่ละคนที่ได้รับการฟื้นฟู