Разделителна способност LaMa-здраво боядисване
LaMa (Large Mask inpainting) е бърза, лека невронна мрежа, която запълва чисто липсващите или премахнати области на изображение, дори когато дупката е огромна.
Преглед
It matters because it produces convincing fills at resolutions far higher than it was trained on, making professional object removal accessible to anyone.
Дълбоко гмуркане
LaMa, представена от изследователите на Samsung AI през 2021 г., се занимава с дългогодишен проблем: повечето модели за рисуване се размазват или замъгляват, когато бъдат помолени да запълнят големи маски или повтарящи се текстури като тухлени стени и плочки. Неговият пробив е използването на бързи навивки на Фурие (FFC), които дават на мрежата глобално възприемчиво поле в един слой, вместо да се нуждаят от десетки подредени навивки. Това позволява на LaMa да „види“ цялото изображение наведнъж и да продължи кохерентно периодичните структури. Той се обучава с комбинация от състезателна загуба и перцептивна загуба, базирана на мрежа, която сама по себе си използва широки възприемчиви полета. Резултатът се обобщава забележително добре, често рисувайки 2K изображения чисто след обучение само върху по-малки култури.
Техническа информация
Ключовият компонент е бързата конволюция на Фурие. Нормалната конволюция разглежда само малка локална кръпка, така че улавянето на структура на дълги разстояния изисква много дълбока мрежа. FFC трансформира част от картата на характеристиките в честотната област, прилага конволюция там, след което трансформира обратно. Тъй като операциите с честотен домейн са по своята същност глобални, един FFC слой смесва информация в цялото изображение, помагайки на LaMa да повтори текстурите и да зачита глобалната геометрия като ръбовете на стените.
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на LaMa Resolution-Rubust Inpainting
LaMa остава силна, ефективна базова линия и е широко вградена в безплатни инструменти и фоторедактори с отворен код, защото работи бързо на скромен хардуер без гигантски дифузионен модел. Тенденцията е хибридните тръбопроводи: използвайте LaMa за незабавни структурни запълвания и груби чертежи, след което опционално прецизирайте детайлите с модел на дифузия. Очаквайте неговата идея за конволюция на Фурие да продължи да се появява при редактиране в реално време, поправка на видео кадри и почистване на мобилни снимки на устройството, където скоростта и ниската памет са най-важни.
Внедряване в реалния свят
Премахване на туристи или фотобомбардировачи от снимки от пътуване, като същевременно запазва фона на стената или небето безпроблемно
Изтриване на водни знаци, времеви клейма или лога от изображения за легитимна реставрационна работа
Изтриване на електропроводи и улични табели от снимки на списък с недвижими имоти
Възстановяване на стари или повредени сканирани снимки чрез запълване на драскотини, разкъсвания и липсващи ъгли
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the LaMa Resolution-Robust Inpainting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
CodeFormer Robust Face Recovery
Frequently asked questions
What is LaMa Resolution-Robust Inpainting?
LaMa (Large Mask inpainting) е бърза, лека невронна мрежа, която запълва чисто липсващите или премахнати области на изображение, дори когато дупката е огромна. Има значение, защото произвежда убедителни запълвания при разделителни способности, много по-високи от тези, на които е бил обучен, което прави професионалното премахване на обекти достъпно за всеки.
Кой е характерният архитектурен компонент, който дава на LaMa глобалния изглед на изображение?
LaMa използва бързи намотки на Фурие (FFC), които работят частично в честотната област, за да осигурят глобално възприемчиво поле в един слой.
Защо LaMa се справя с големи маски по-добре от много по-ранни модели за рисуване?
Тъй като FFC виждат цялото изображение наведнъж, LaMa може кохерентно да продължи текстури и геометрия дори в много големи липсващи региони.
Забележителна сила на LaMa е способността му да рисува изображения с каква разделителна способност?
LaMa се обобщава добре за разделителни способности, по-високи от тези, наблюдавани по време на обучение, поради което се нарича стабилен на резолюция.
С какви текстури се справя особено добре LaMa благодарение на своята обработка в честотен домейн?
Конволюциите на честотния домейн са много подходящи за периодични модели, така че LaMa чисто продължава да повтаря текстури като тухлени стени и подове с плочки.
Коя загуба помага на LaMa да произвежда реалистично изглеждащи запълвания, а не размазани средни стойности?
LaMa съчетава противопоставящи се и перцептивни загуби, насърчавайки резки, правдоподобни текстури вместо размазани осреднени пиксели.