การลดสัญญาณรบกวนและการลดความเบลอของเครือข่าย
เครือข่ายการลดสัญญาณรบกวนและการลดความพร่ามัวเป็นแบบจำลองทางประสาทที่ช่วยล้างภาพที่สัญญาณรบกวนหรือภาพเบลอ และนำรายละเอียดที่คมชัดกลับมาจากอินพุตที่ยุ่งเหยิง
ภาพรวม
They matter because nearly every camera, phone, and medical scanner produces imperfect images that these networks can rescue.
เจาะลึก
การลดนอยส์จะลบเกรนแบบสุ่ม (มักมาจากแสงน้อยหรือค่า ISO สูง) ในขณะที่การลบภาพเบลอกลับทำให้เกิดรอยเปื้อนที่เกิดจากการสั่นของกล้อง การเคลื่อนไหว หรืออยู่นอกโฟกัส ทั้งสองงานเป็นงาน 'การฟื้นฟูภาพ' โดยที่เครือข่ายเรียนรู้การแมปจากภาพที่เสื่อมคุณภาพไปเป็นภาพที่สะอาด โมเดลเชิงลึกสุดคลาสสิกอย่าง DnCNN เรียนรู้ที่จะทำนายสัญญาณรบกวนด้วยตัวมันเอง แล้วลบออก ในขณะที่งานต่อมาใช้ตัวเข้ารหัส-ตัวถอดรหัส U-Net ที่บีบอัดและสร้างภาพขึ้นมาใหม่ การแก้ไขภาพเบลอนั้นทำได้ยากกว่าเพราะโดยปกติแล้ว 'เคอร์เนล' การเบลอ (วิธีการแต่ละพิกเซลถูกละเลง) นั้นไม่เป็นที่รู้จัก ดังนั้นเครือข่ายการแก้ไขภาพเบลอจึงต้องประเมินทั้งเคอร์เนลและภาพที่คมชัด คู่การฝึกถูกสร้างขึ้นโดยการเพิ่มจุดรบกวนหรือความเบลอสังเคราะห์เพื่อทำความสะอาดรูปภาพ เพื่อให้เครือข่ายเห็นคำตอบที่ถูกต้อง
ข้อมูลเชิงลึกทางเทคนิค
ตัวลดนอยส์จำนวนมากใช้การเรียนรู้ที่ตกค้าง: แทนที่จะคาดการณ์ภาพที่สะอาดโดยตรง DnCNN จะคาดการณ์สัญญาณรบกวนที่ตกค้างและลบออก ซึ่งง่ายต่อการปรับให้เหมาะสมที่สุด การแก้ไขภาพเบลอมักใช้การออกแบบหลายขนาดหรือเกิดซ้ำเพื่อปรับแต่งภาพหยาบถึงละเอียด ฟังก์ชันการสูญเสียจะรวมข้อผิดพลาดของพิกเซล (L1/L2) เข้ากับการสูญเสียการรับรู้หรือการสูญเสียที่ขัดแย้งกัน ดังนั้นผลลัพธ์จึงดูเป็นธรรมชาติแทนที่จะปรับให้เรียบเกินไป เทคนิคที่ควบคุมตนเอง เช่น Noise2Noise แม้จะฝึกโดยไม่มีเป้าหมายที่ชัดเจนโดยการจับคู่เฟรมที่มีเสียงดังหนึ่งไปยังอีกเฟรมหนึ่ง
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของเครือข่ายการลดสัญญาณรบกวนและการลดความเบลอ
สารฟื้นฟูแบบกระจายกำลังกลายเป็นมาตรฐานใหม่ โดยถือว่า denoising เป็นแกนหลักของการสุ่มตัวอย่างแบบกำเนิดและผลิตพื้นผิวที่คมชัดและสมจริง เกณฑ์มาตรฐานการย่อยสลายในโลกแห่งความเป็นจริง (ไม่ใช่แค่การสังเคราะห์) เช่น SIDD ผลักดันโมเดลต่างๆ ไปสู่สัญญาณรบกวนจากกล้องอย่างแท้จริง คาดหวังการคืนค่าแบบเรียลไทม์บนอุปกรณ์ใน ISP โทรศัพท์และการสนทนาทางวิดีโอ รวมถึงรุ่น 'ออลอินวัน' ที่จัดการเสียงรบกวน ความพร่ามัว ฝน และหมอกควันร่วมกัน ขอบเขตกำลังสร้างสมดุลระหว่างการกู้คืนรายละเอียดที่ซื่อสัตย์กับพื้นผิวประสาทหลอนที่ไม่เคยมีมาก่อน
การใช้งานจริงในโลกแห่งความเป็นจริง
โหมดกลางคืนของสมาร์ทโฟนที่ซ้อนและ denoising กรอบสีเข้มหลายๆ ภาพให้เป็นภาพเดียวในที่แสงน้อยที่สะอาดตา
ลบภาพเบลอจากการเคลื่อนไหวออกจากป้ายทะเบียนหรือใบหน้าในฟุตเทจความปลอดภัยและนิติเวช
การทำความสะอาดเกรนและการบีบอัดจากวิดีโอเก่าหรือวิดีโอบิตเรตต่ำก่อนทำการสตรีม
ลดเสียงรบกวนในการสแกน CT และ MRI ขนาดต่ำ เพื่อให้แพทย์สามารถลดการแผ่รังสีโดยยังคงรักษารายละเอียดไว้
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Denoising and Deblurring Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
เครือข่ายที่เหลือ
คำถามที่พบบ่อย
What is Denoising and Deblurring Networks?
เครือข่ายการลดสัญญาณรบกวนและการลดความพร่ามัวเป็นแบบจำลองทางประสาทที่ช่วยล้างภาพที่สัญญาณรบกวนหรือภาพเบลอ และนำรายละเอียดที่คมชัดกลับมาจากอินพุตที่ยุ่งเหยิง สิ่งเหล่านี้มีความสำคัญเนื่องจากกล้อง โทรศัพท์ และสแกนเนอร์ทางการแพทย์เกือบทุกตัวจะสร้างภาพที่ไม่สมบูรณ์ซึ่งเครือข่ายเหล่านี้สามารถช่วยได้
จริง ๆ แล้ว DnCNN ทำนายอะไรระหว่างการฝึกอบรม?
DnCNN ใช้การเรียนรู้ที่เหลือ โดยทำนายสัญญาณรบกวนเองเพื่อให้สามารถลบออกได้ ซึ่งง่ายกว่าการสร้างภาพที่สะอาดทั้งหมดขึ้นมาใหม่
เหตุใด Blind Debluring จึงถือว่ายากกว่า Debluring
ในการแก้ไขภาพเบลอโดยไม่รู้ตัว เครือข่ายจะต้องประมาณค่าเคอร์เนลเบลอที่ไม่รู้จักและภาพที่คมชัดในคราวเดียว ทำให้เกิดปัญหาที่ไม่ชัดเจน
โดยทั่วไปแล้วคู่การฝึกอบรมสำหรับเครือข่ายเหล่านี้ถูกสร้างขึ้นอย่างไร
นักวิจัยลดคุณภาพภาพที่สะอาดด้วยสัญญาณรบกวนหรือภาพเบลอจำลอง เพื่อให้เครือข่ายมีเป้าหมายที่ชัดเจนในการเรียนรู้
สถาปัตยกรรมใดที่มักใช้เป็นแกนหลักในการฟื้นฟูภาพ
ตัวเข้ารหัส-ตัวถอดรหัสสไตล์ U-Net บีบอัดแล้วสร้างภาพใหม่ด้วยการเชื่อมต่อแบบข้ามที่รักษารายละเอียด ทำให้เป็นที่นิยมสำหรับการฟื้นฟู
แนวคิดหลักเบื้องหลังแนวทางการฝึกอบรม Noise2Noise คืออะไร
Noise2Noise แสดงให้เห็นว่าคุณสามารถฝึกตัวลดนอยส์ได้โดยใช้ภาพที่มีสัญญาณรบกวนเป็นคู่ เนื่องจากเครือข่ายจะเรียนรู้สัญญาณที่ชัดเจนที่ซ่อนอยู่โดยคาดหวัง