Độ phân giải LaMa-Inpainting mạnh mẽ
LaMa (Large Mask inpainting) là một mạng thần kinh nhanh, nhẹ, giúp lấp đầy các vùng bị thiếu hoặc bị loại bỏ của hình ảnh một cách rõ ràng, ngay cả khi lỗ hổng rất lớn.
Tổng quan
It matters because it produces convincing fills at resolutions far higher than it was trained on, making professional object removal accessible to anyone.
Lặn sâu
LaMa, được các nhà nghiên cứu AI của Samsung giới thiệu vào năm 2021, đã giải quyết một vấn đề tồn tại từ lâu: hầu hết các mô hình sơn bị nhòe hoặc mờ khi được yêu cầu lấp đầy các mặt nạ lớn hoặc các họa tiết lặp đi lặp lại như tường gạch và sàn gạch. Bước đột phá của nó là sử dụng Fast Fourier Convolutions (FFC), cung cấp cho mạng một trường tiếp nhận toàn cầu trong một lớp duy nhất thay vì cần hàng chục tổ hợp xếp chồng lên nhau. Điều này cho phép LaMa 'nhìn thấy' toàn bộ hình ảnh cùng một lúc và tiếp tục các cấu trúc định kỳ một cách mạch lạc. Nó được đào tạo với sự kết hợp giữa mất mát đối nghịch và mất mát về nhận thức dựa trên mạng sử dụng các trường tiếp nhận rộng. Kết quả tổng quát hóa rất tốt, thường in hình ảnh 2K một cách rõ ràng sau khi huấn luyện chỉ trên các phần cắt nhỏ hơn.
Hiểu biết kỹ thuật
Thành phần chính là Phép chập Fourier nhanh. Một tích chập thông thường chỉ xem xét một mảng cục bộ nhỏ, do đó, việc nắm bắt cấu trúc tầm xa đòi hỏi một mạng lưới rất sâu. FFC chuyển đổi một phần của bản đồ đặc trưng thành miền tần số, áp dụng tích chập ở đó, sau đó chuyển đổi trở lại. Bởi vì các hoạt động trong miền tần số vốn đã mang tính toàn cầu nên một lớp FFC duy nhất sẽ trộn thông tin trên toàn bộ hình ảnh, giúp LaMa lặp lại kết cấu và tôn trọng hình học tổng thể như các cạnh của bức tường.
Tác động chiến lược
Tốc độ và tỷ lệ
Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
Xây dựng lựa chọn
Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
Nhóm và quy trình làm việc
Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
Tương lai của độ phân giải LaMa-Inpainting mạnh mẽ
LaMa vẫn là một nền tảng cơ bản mạnh mẽ, hiệu quả và được nhúng rộng rãi trong các công cụ miễn phí cũng như trình chỉnh sửa ảnh nguồn mở vì nó chạy nhanh trên phần cứng khiêm tốn mà không cần mô hình khuếch tán khổng lồ. Xu hướng là các đường ống kết hợp: sử dụng LaMa để lấp đầy cấu trúc ngay lập tức và các bản phác thảo thô, sau đó tùy ý tinh chỉnh các chi tiết bằng mô hình khuếch tán. Mong đợi ý tưởng tích chập Fourier của nó sẽ tiếp tục xuất hiện trong chỉnh sửa thời gian thực, sửa khung hình video và dọn dẹp ảnh di động trên thiết bị, nơi tốc độ và bộ nhớ thấp quan trọng nhất.
Triển khai trong thế giới thực
Loại bỏ khách du lịch hoặc người thích chụp ảnh khỏi ảnh du lịch trong khi vẫn giữ cho bức tường nền hoặc bầu trời liền mạch
Xóa hình mờ, dấu thời gian hoặc logo khỏi hình ảnh để phục vụ công việc khôi phục hợp pháp
Xóa đường dây điện, biển báo khỏi ảnh niêm yết bất động sản
Khôi phục ảnh quét cũ hoặc bị hỏng bằng cách lấp đầy các vết xước, vết rách và các góc bị thiếu
Rủi ro & lan can
Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Lộ trình thực hiện
Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the LaMa Resolution-Robust Inpainting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
CodeFormer Phục hồi khuôn mặt mạnh mẽ
Câu hỏi thường gặp
What is LaMa Resolution-Robust Inpainting?
LaMa (Large Mask inpainting) là một mạng thần kinh nhanh, nhẹ, giúp lấp đầy các vùng bị thiếu hoặc bị loại bỏ của hình ảnh một cách rõ ràng, ngay cả khi lỗ hổng rất lớn. Điều này quan trọng bởi vì nó tạo ra những lần lấp đầy thuyết phục ở độ phân giải cao hơn nhiều so với mức độ được đào tạo, giúp mọi người có thể loại bỏ đối tượng chuyên nghiệp.
Thành phần kiến trúc đặc trưng mang lại cho LaMa cái nhìn tổng thể về hình ảnh là gì?
LaMa sử dụng Fast Fourier Convolutions (FFC), hoạt động một phần trong miền tần số để cung cấp trường tiếp nhận toàn cầu trong một lớp duy nhất.
Tại sao LaMa xử lý mặt nạ lớn tốt hơn nhiều mẫu inpainting trước đó?
Bởi vì FFC nhìn thấy toàn bộ hình ảnh cùng một lúc, LaMa có thể tiếp tục kết cấu và hình học một cách mạch lạc ngay cả trên các vùng bị thiếu rất lớn.
Điểm mạnh đáng chú ý của LaMa là khả năng vẽ hình ảnh ở độ phân giải nào?
LaMa khái quát tốt các độ phân giải cao hơn so với độ phân giải được thấy trong quá trình đào tạo, đó là lý do tại sao nó được gọi là độ phân giải mạnh mẽ.
LaMa xử lý đặc biệt tốt loại kết cấu nào nhờ khả năng xử lý miền tần số?
Tích chập miền tần số rất phù hợp với các mẫu tuần hoàn, vì vậy LaMa tiếp tục lặp lại các kết cấu như tường gạch và sàn lát gạch một cách rõ ràng.
Sự mất mát nào giúp LaMa tạo ra những hình ảnh lấp đầy trông thực tế hơn là những đường trung bình mờ ảo?
LaMa kết hợp những tổn thất đối nghịch và tổn thất về nhận thức, khuyến khích các kết cấu sắc nét, hợp lý thay vì các pixel trung bình bị mờ.