CodeFormer การกู้คืนใบหน้าที่แข็งแกร่ง
CodeFormer คือโมเดลการฟื้นฟูใบหน้าที่สร้างขึ้นเพื่อรองรับการเสื่อมโทรมอย่างรุนแรง โดยการกู้คืนใบหน้าที่จดจำได้จากอินพุตที่เสียหายอย่างหนัก ขนาดเล็ก หรือพร่ามัว
ภาพรวม
It matters because it lets users dial the trade-off between staying faithful to the original and producing a clean, high-quality result.
เจาะลึก
CodeFormer (NeurIPS 2022) จัดเฟรมการฟื้นฟูใบหน้าใหม่เป็นการทำนายโค้ดแบบแยกส่วน แทนที่จะเป็นการถดถอยพิกเซลอย่างต่อเนื่อง ขั้นแรกให้ฝึก Codebook สไตล์ VQGAN ซึ่งเป็นพจนานุกรมขนาดเล็กที่เรียนรู้เกี่ยวกับ 'ส่วนประกอบ' ของใบหน้า ที่จะบันทึกรายละเอียดใบหน้าคุณภาพสูง เมื่อพิจารณาถึงใบหน้าที่เสื่อมโทรม Transformer จะทำนายว่ารายการในสมุดโค้ดรายการใดที่จะสร้างขึ้นใหม่ได้ดีที่สุด โดยปฏิบัติต่อการฟื้นฟูเหมือนกับการเลือกโทเค็นที่ถูกต้องจากคำศัพท์ของส่วนต่างๆ ของใบหน้า เนื่องจากสมุดโค้ดอาศัยอยู่ในพื้นที่จำกัดและกะทัดรัด โมเดลนี้จึงทนทานต่อสัญญาณรบกวนและความเบลอที่รุนแรงได้ดีกว่าวิธีการที่จับคู่พิกเซลโดยตรง โมดูลการแปลงคุณสมบัติที่ควบคุมได้ช่วยให้ผู้ใช้เลื่อนน้ำหนักเดียว (มักเรียกว่าความเที่ยงตรง) เพื่อให้เอาต์พุตมีความคมชัดและสมจริงมากขึ้น หรือมีความเที่ยงตรงมากขึ้นต่ออินพุตที่เสียหาย
ข้อมูลเชิงลึกทางเทคนิค
หนังสือโค้ดแยกทำหน้าที่เหมือนคำก่อนหน้าที่มี 'คำศัพท์' ที่จำกัด ดังนั้นแม้ว่าอินพุตจะเสียหายอย่างรุนแรง Transformer ก็ยังสามารถสแน็ปการคาดการณ์ไปยังโค้ดใบหน้าที่ถูกต้องและมีคุณภาพสูงได้ การสร้างแบบจำลองระดับโลกผ่านความสนใจช่วยลดการพึ่งพาตัวชี้นำพิกเซลในเครื่องที่การทำลายล้างลดลง น้ำหนักความแม่นยำที่ปรับได้จะควบคุมว่าเครือข่ายต้องใช้คุณลักษณะอินพุตมากน้อยเพียงใดเมื่อเทียบกับคู่มือโค้ดที่เรียนรู้ โดยแลกเปลี่ยนการรักษาเอกลักษณ์กับความสะอาดของเอาต์พุต
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของการฟื้นฟูใบหน้าที่แข็งแกร่งของ CodeFormer
การออกแบบ Codebook-plus-Transformer มีอิทธิพลต่องานฟื้นฟูและการสร้างในวงกว้างขึ้น และ CodeFormer ก็ผสมผสานกับการปรับแต่งการแพร่กระจายมากขึ้นเรื่อยๆ เพื่อให้ได้ผลลัพธ์ที่คมชัดยิ่งขึ้น คาดว่าจะมีเวอร์ชันชั่วคราวที่ดีกว่าสำหรับวิดีโอ การล็อคข้อมูลประจำตัวที่ละเอียดยิ่งขึ้น ดังนั้นการกู้คืนข้อมูลจำนวนมากจึงไม่เปลี่ยนรูปลักษณ์ของบุคคล และการรวมเข้ากับแอปรูปภาพของผู้บริโภคที่เข้มงวดยิ่งขึ้น เช่นเดียวกับเครื่องมือซ่อมแซมใบหน้าอื่นๆ ความโปร่งใสเกี่ยวกับรายละเอียดที่สร้างขึ้นใหม่และการป้องกันการใช้งานในทางที่ผิดจะมีความสำคัญเพิ่มมากขึ้น
การใช้งานจริงในโลกแห่งความเป็นจริง
การกู้คืนใบหน้าจากการเฝ้าระวังหรือภาพที่เก็บถาวรที่มีความละเอียดต่ำมาก
การคืนค่าภาพบุคคลทางประวัติศาสตร์ที่เสียหาย ซีดจาง หรือเป็นพิกเซล
แก้ไขภาพที่ AI สร้างขึ้นซึ่งใบหน้ายุบลงจนเบลอหรือบิดเบี้ยว
ให้ผู้ใช้ปรับแต่งแถบเลื่อนความเที่ยงตรงเพื่อเลือกระหว่างการบูรณะแบบซื่อสัตย์หรือแบบขัดเงา
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CodeFormer Robust Face Recovery quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การวาดภาพด้วยความละเอียดของ LaMa ที่แข็งแกร่ง
คำถามที่พบบ่อย
What is CodeFormer Robust Face Recovery?
CodeFormer คือโมเดลการฟื้นฟูใบหน้าที่สร้างขึ้นเพื่อรองรับการเสื่อมโทรมอย่างรุนแรง โดยการกู้คืนใบหน้าที่จดจำได้จากอินพุตที่เสียหายอย่างหนัก ขนาดเล็ก หรือพร่ามัว สิ่งสำคัญคือเนื่องจากช่วยให้ผู้ใช้สามารถแลกเปลี่ยนระหว่างการคงความซื่อสัตย์ต่อต้นฉบับและการผลิตผลลัพธ์ที่สะอาดตาและมีคุณภาพสูง
CodeFormer วางกรอบปัญหาการฟื้นฟูใบหน้าโดยพื้นฐานอย่างไร
CodeFormer คาดการณ์รายการที่ไม่ต่อเนื่องจากสมุดรหัสสไตล์ VQGAN โดยดำเนินการกู้คืนเหมือนกับการเลือกโทเค็นแทนที่จะถอยพิกเซลดิบ
องค์ประกอบใดที่คาดการณ์ว่าจะใช้รายการ Codebook ใด
Transformer จำลองบริบททั่วโลกเพื่อทำนายโทเค็น Codebook ที่ดีที่สุด ซึ่งมีความแข็งแกร่งมากกว่าการพึ่งพาตัวชี้นำพิกเซลในเครื่อง
เหตุใด Codebook แบบแยกจึงมีประโยชน์สำหรับอินพุตที่มีการลดระดับลงอย่างมาก
เนื่องจากการคาดคะเนจะจัดอยู่ในชุดโค้ดใบหน้าคุณภาพสูงจำนวนจำกัด โมเดลจึงยังคงแข็งแกร่งแม้ว่าพิกเซลอินพุตจะเสียหายอย่างรุนแรงก็ตาม
การควบคุมน้ำหนักความเที่ยงตรงแบบปรับได้ของ CodeFormer คืออะไร
การเปลี่ยนแปลงคุณสมบัติที่ควบคุมได้ทำให้ผู้ใช้สามารถเลื่อนระหว่างการรักษาเอกลักษณ์ดั้งเดิมและการสร้างผลลัพธ์ที่สะอาดตาและคมชัดยิ่งขึ้น
CodeFormer ได้รับการเผยแพร่ในสถานที่ใด
CodeFormer เปิดตัวที่ NeurIPS 2022 โดยนำเสนอแนวทางการค้นหาสมุดรหัสเพื่อการฟื้นฟูใบหน้าที่มีประสิทธิภาพ