ESRGAN และ GAN สุดยอดความละเอียด
ESRGAN ใช้การแข่งขันระหว่างเครื่องกำเนิดไฟฟ้ากับการเลือกปฏิบัติเพื่อสร้างรายละเอียดที่สมจริงเมื่อขยายขนาดภาพ นอกเหนือไปจากการแก้ไขที่พร่ามัว
ภาพรวม
It matters because it set the template for photo-realistic super-resolution that still influences tools today.
เจาะลึก
ESRGAN (Enhanced Super-Resolution Generative Adversarial Network) ที่เปิดตัวในปี 2018 ได้รับการปรับปรุงจาก SRGAN รุ่นก่อนหน้า ใช้ตัวสร้างที่สร้างขึ้นจาก Residual-in-Residual Dense Blocks (RRDB) ที่ซ้อนการเชื่อมต่อหนาแน่นจำนวนมากโดยไม่มีการทำให้เป็นมาตรฐานแบบแบตช์ ซึ่งผู้เขียนพบว่าทำให้เกิดสิ่งประดิษฐ์ เครือข่ายผู้แยกแยะที่แยกจากกันพยายามที่จะบอกเล่าภาพถ่ายที่มีความละเอียดสูงจริงจากภาพถ่ายที่สร้างขึ้น โดยผลักดันให้เครื่องกำเนิดภาพหลอนประสาททำให้พื้นผิวดูน่าเชื่อ เช่น ผม อิฐ และใบไม้ ESRGAN รวมการสูญเสียสามประการ: การสูญเสียเนื้อหาแบบพิกเซล การสูญเสียการรับรู้ที่วัดได้บนแผนที่ฟีเจอร์ VGG ก่อนการเปิดใช้งาน และการสูญเสียฝ่ายตรงข้าม นอกจากนี้ ยังแนะนำการเลือกปฏิบัติแบบ 'เชิงสัมพัทธภาพ' ที่จะตัดสินว่าภาพจริงดูสมจริงมากกว่าภาพปลอมหรือไม่ ซึ่งเป็นการฝึกฝนให้คมชัดยิ่งขึ้น ESRGAN ชนะการแข่งขันที่มีความละเอียดสูงสุดในการรับรู้ของ PIRM ปี 2018
ข้อมูลเชิงลึกทางเทคนิค
แนวคิดหลักคือการแลกเปลี่ยนความแม่นยำของพิกเซลเพื่อความสมจริงในการรับรู้ การสูญเสียพิกเซลเช่นค่าเฉลี่ย MSE บนพื้นผิวที่เป็นไปได้ ทำให้ได้ผลลัพธ์ที่ราบรื่นและพร่ามัว การสูญเสียฝ่ายตรงข้ามกลับบังคับให้ส่งออกไปยังรูปภาพที่ดูสมจริงมากมาย ดังนั้นตัวสร้างจึงเลือกใช้พื้นผิวที่คมชัดและเป็นไปได้ เครื่องมือแยกแยะโดยเฉลี่ยเชิงสัมพันธ์ของ ESRGAN ประเมินว่าแพตช์จริงมีความสมจริงมากกว่าแพตช์ปลอมมากเพียงใด ซึ่งถ่ายโอนข้อมูลการไล่ระดับสีได้มากกว่า และสร้างขอบที่คมชัดกว่าแพตช์มาตรฐาน
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของ ESRGAN และ GAN Super-Resolution
ความละเอียดระดับสูงของ GAN บริสุทธิ์ถูกผสมผสานหรือแทนที่มากขึ้นด้วยแบ็คโบนของหม้อแปลงและตัวขยายสเกลเลอร์แบบกระจายที่ให้การฝึกฝนที่เสถียรยิ่งขึ้นและการควบคุมที่ละเอียดยิ่งขึ้น ถึงกระนั้น ตัวสร้าง RRDB ของ ESRGAN และสูตรการรับรู้บวกศัตรูยังคงเป็นพื้นฐานที่แข็งแกร่งและมีน้ำหนักเบาซึ่งฝังอยู่ในม็อดพื้นผิวเกมและเครื่องมือรูปภาพจำนวนนับไม่ถ้วน คาดหวังรุ่นไฮบริดที่จะรักษาความคมชัดของ GAN ในขณะที่ยืมความหลากหลายของการแพร่กระจายและบริบทระยะไกลของหม้อแปลง และการปรับใช้บนอุปกรณ์ที่เข้มงวดมากขึ้นสำหรับการลดขนาดแบบเรียลไทม์
การใช้งานจริงในโลกแห่งความเป็นจริง
การเพิ่มขนาดพื้นผิวความละเอียดต่ำในม็อดวิดีโอเกม (เป็นที่นิยมในชุมชนม็อด 'AI Upscale' สำหรับเกมพีซีรุ่นเก่า)
ปรับปรุงภาพถ่ายครอบครัวเก่าหรือภาพที่สแกนก่อนพิมพ์ในขนาดที่ใหญ่ขึ้น
การปรับปรุงภาพนิ่งที่ดึงมาจากเอกสารสำคัญหรือภาพวงจรปิดที่มีความละเอียดต่ำ
การสร้างแผนที่พื้นผิวที่มีความละเอียดสูงสำหรับศิลปิน 3 มิติที่ทำงานจากภาพอ้างอิงขนาดเล็ก
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ESRGAN and GAN Super-Resolution quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
ภาพความละเอียดสูงสุด
คำถามที่พบบ่อย
What is ESRGAN and GAN Super-Resolution?
ESRGAN ใช้การแข่งขันระหว่างเครื่องกำเนิดไฟฟ้ากับการเลือกปฏิบัติเพื่อสร้างรายละเอียดที่สมจริงเมื่อขยายขนาดภาพ นอกเหนือไปจากการแก้ไขที่พร่ามัว สิ่งสำคัญเนื่องจากเป็นการตั้งค่าเทมเพลตสำหรับความละเอียดระดับสูงที่สมจริงของภาพถ่ายซึ่งยังคงมีอิทธิพลต่อเครื่องมือในปัจจุบัน
'GAN' ใน ESRGAN หมายถึงอะไร
GAN ย่อมาจาก Generative Adversarial Network ซึ่งเป็นการตั้งค่าที่ผู้สร้างและผู้เลือกปฏิบัติแข่งขันกันระหว่างการฝึกอบรม
ตัวสร้าง ESRGAN ใช้ Building Block ใดเป็นหลัก
เครื่องกำเนิดของ ESRGAN จะซ้อน Residual-in-Residual Dense Blocks (RRDB) ซึ่งเป็นหน่วยตกค้างที่เชื่อมต่ออย่างหนาแน่นเป็นโครงสร้างหลัก
เหตุใดผู้เขียนของ ESRGAN จึงลบการทำให้เป็นมาตรฐานแบบแบตช์ออกจากตัวสร้าง
ผู้เขียนพบว่าการทำให้เป็นมาตรฐานแบบแบตช์ทำให้เกิดสิ่งที่ไม่พึงประสงค์ในเอาต์พุตที่มีความละเอียดสูงมาก ดังนั้นพวกเขาจึงลบมันออกจากบล็อก RRDB
อะไรคือข้อแลกเปลี่ยนหลักที่ ESRGAN ทำเมื่อเปรียบเทียบกับวิธีการสูญเสียพิกเซลเท่านั้น
การสูญเสียฝ่ายตรงข้ามจะผลักดันเอาท์พุตไปสู่พื้นผิวที่ดูสมจริง แม้ว่าค่าพิกเซลแต่ละพิกเซลจะแตกต่างไปจากความจริงภาคพื้นดินก็ตาม
การสูญเสียการรับรู้ (VGG) ของ ESRGAN วัดได้ที่ไหน
ESRGAN คำนวณการสูญเสียการรับรู้บนแผนที่คุณลักษณะ VGG ก่อนฟังก์ชันการเปิดใช้งาน ซึ่งผู้เขียนพบว่าให้ผลลัพธ์ที่คมชัดยิ่งขึ้น