การวาดภาพด้วยความละเอียดของ LaMa ที่แข็งแกร่ง
LaMa (Large Mask inpainting) เป็นโครงข่ายประสาทเทียมที่รวดเร็วและมีน้ำหนักเบา ซึ่งเติมเต็มส่วนที่ขาดหายไปหรือถูกลบออกของรูปภาพได้อย่างหมดจด แม้ว่าหลุมจะมีขนาดใหญ่ก็ตาม
ภาพรวม
It matters because it produces convincing fills at resolutions far higher than it was trained on, making professional object removal accessible to anyone.
เจาะลึก
LaMa ซึ่งเปิดตัวโดยนักวิจัย AI ของ Samsung ในปี 2021 จัดการกับปัญหาที่มีมายาวนาน: โมเดลที่ลงสีส่วนใหญ่จะเปื้อนหรือเบลอเมื่อถูกขอให้เติมมาสก์ขนาดใหญ่หรือพื้นผิวที่ซ้ำกัน เช่น ผนังอิฐและพื้นกระเบื้อง ความก้าวหน้าของมันคือการใช้ Fast Fourier Convolutions (FFCs) ซึ่งทำให้เครือข่ายมีเขตข้อมูลรับสัญญาณทั่วโลกในเลเยอร์เดียว แทนที่จะต้องใช้การสลับแบบซ้อนกันหลายสิบครั้ง ซึ่งช่วยให้ลามะ 'เห็น' ภาพรวมทั้งหมดได้ในคราวเดียวและดำเนินโครงสร้างเป็นระยะอย่างต่อเนื่อง ได้รับการฝึกฝนโดยมีการผสมผสานระหว่างการสูญเสียฝ่ายตรงข้ามและการสูญเสียการรับรู้โดยอิงจากเครือข่ายที่ใช้ช่องรับสัญญาณที่กว้าง ผลลัพธ์สรุปได้ดีมาก โดยมักจะวาดภาพ 2K ได้อย่างหมดจดหลังการฝึกบนพืชขนาดเล็กเท่านั้น
ข้อมูลเชิงลึกทางเทคนิค
องค์ประกอบสำคัญคือ Fast Fourier Convolution การบิดแบบปกติจะดูเฉพาะแพตช์ท้องถิ่นขนาดเล็กเท่านั้น ดังนั้นการจับโครงสร้างระยะไกลจึงต้องใช้เครือข่ายที่ลึกมาก FFC แปลงส่วนหนึ่งของแผนผังคุณลักษณะเป็นโดเมนความถี่ ใช้การบิดตรงนั้น จากนั้นจึงแปลงกลับ เนื่องจากการดำเนินการโดเมนความถี่นั้นเป็นแบบสากล เลเยอร์ FFC เดียวจะผสมข้อมูลทั่วทั้งภาพ ช่วยให้ LaMa ทำซ้ำพื้นผิวและเคารพเรขาคณิตส่วนกลาง เช่น ขอบผนัง
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของการวาดภาพด้วยความละเอียดและทนทานของ LaMa
LaMa ยังคงเป็นพื้นฐานที่แข็งแกร่งและมีประสิทธิภาพ และฝังไว้อย่างกว้างขวางในเครื่องมือฟรีและโปรแกรมแก้ไขภาพโอเพ่นซอร์ส เนื่องจากทำงานเร็วบนฮาร์ดแวร์ขนาดเล็กโดยไม่มีโมเดลการแพร่กระจายขนาดใหญ่ แนวโน้มคือไปป์ไลน์แบบผสม: ใช้ LaMa สำหรับการเติมโครงสร้างทันทีและแบบร่างหยาบ จากนั้นเลือกปรับแต่งรายละเอียดด้วยแบบจำลองการแพร่กระจาย คาดว่าแนวคิดการหมุนฟูริเยร์จะยังคงปรากฏในการแก้ไขแบบเรียลไทม์ การซ่อมแซมเฟรมวิดีโอ และการล้างรูปภาพบนอุปกรณ์เคลื่อนที่ ซึ่งความเร็วและหน่วยความจำต่ำมีความสำคัญที่สุด
การใช้งานจริงในโลกแห่งความเป็นจริง
ลบนักท่องเที่ยวหรือโฟโต้บอมเบอร์ออกจากภาพถ่ายการเดินทางโดยยังคงรักษาผนังพื้นหลังหรือท้องฟ้าให้ไร้รอยต่อ
การลบลายน้ำ การประทับเวลา หรือโลโก้ออกจากรูปภาพเพื่อการฟื้นฟูที่ถูกต้องตามกฎหมาย
ลบสายไฟและป้ายถนนออกจากภาพถ่ายรายการอสังหาริมทรัพย์
คืนค่าภาพถ่ายสแกนเก่าหรือเสียหายโดยการเติมรอยขีดข่วน รอยฉีกขาด และมุมที่หายไป
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the LaMa Resolution-Robust Inpainting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
CodeFormer การกู้คืนใบหน้าที่แข็งแกร่ง
คำถามที่พบบ่อย
What is LaMa Resolution-Robust Inpainting?
LaMa (Large Mask inpainting) เป็นโครงข่ายประสาทเทียมที่รวดเร็วและมีน้ำหนักเบา ซึ่งเติมเต็มส่วนที่ขาดหายไปหรือถูกลบออกของรูปภาพได้อย่างหมดจด แม้ว่าหลุมจะมีขนาดใหญ่ก็ตาม เป็นเรื่องสำคัญเนื่องจากสร้างการเติมที่น่าเชื่อที่ความละเอียดสูงกว่าที่ได้รับการฝึกฝนมามาก ทำให้ทุกคนสามารถเข้าถึงการลบวัตถุแบบมืออาชีพได้
องค์ประกอบทางสถาปัตยกรรมอันเป็นเอกลักษณ์ที่ทำให้ LaMa มีมุมมองภาพทั่วโลกคืออะไร
LaMa ใช้ Fast Fourier Convolutions (FFC) ซึ่งดำเนินการบางส่วนในโดเมนความถี่เพื่อจัดเตรียมฟิลด์รับสัญญาณส่วนกลางในเลเยอร์เดียว
เหตุใดลามะจึงจัดการกับหน้ากากขนาดใหญ่ได้ดีกว่าการพ่นสีรุ่นก่อนๆ หลายรุ่น
เนื่องจาก FFC มองเห็นภาพทั้งหมดได้ในคราวเดียว LaMa จึงสามารถสานต่อพื้นผิวและเรขาคณิตได้อย่างต่อเนื่อง แม้กระทั่งในพื้นที่ที่ขาดหายไปขนาดใหญ่มาก
จุดแข็งที่โดดเด่นของลามะคือความสามารถในการวาดภาพด้วยความละเอียดระดับใด
ลามะสรุปได้ดีถึงความละเอียดที่สูงกว่าที่เห็นระหว่างการฝึก ซึ่งเป็นเหตุผลว่าทำไมจึงเรียกว่าความละเอียดที่แข็งแกร่ง
LaMa จัดการกับพื้นผิวประเภทใดได้ดีเป็นพิเศษด้วยการประมวลผลโดเมนความถี่
การบิดของโดเมนความถี่นั้นเหมาะสมกับรูปแบบเป็นระยะ ดังนั้น LaMa จึงยังคงทำซ้ำพื้นผิว เช่น ผนังอิฐและพื้นกระเบื้องได้อย่างหมดจด
การสูญเสียใดช่วยให้ LaMa สร้างการเติมที่ดูสมจริงมากกว่าการเฉลี่ยที่พร่ามัว
LaMa ผสมผสานการสูญเสียฝ่ายตรงข้ามและการรับรู้เข้าด้วยกัน ทำให้เกิดพื้นผิวที่คมชัดและเป็นไปได้ แทนที่จะเป็นพิกเซลเฉลี่ยที่พร่ามัว