Resolución LaMa: pintura interna robusta
LaMa (Large Mask inpainting) es una red neuronal rápida y liviana que llena limpiamente regiones faltantes o eliminadas de una imagen, incluso cuando el agujero es enorme.
Descripción general
It matters because it produces convincing fills at resolutions far higher than it was trained on, making professional object removal accessible to anyone.
Buceo profundo
LaMa, presentado por los investigadores de inteligencia artificial de Samsung en 2021, aborda un problema de larga data: la mayoría de los modelos en pintura se manchan o se desdibujan cuando se les pide que llenen máscaras grandes o texturas repetitivas como paredes de ladrillo y pisos de baldosas. Su avance es el uso de Convoluciones Rápidas de Fourier (FFC), que brindan a la red un campo receptivo global en una sola capa en lugar de necesitar docenas de convoluciones apiladas. Esto permite a LaMa "ver" la imagen completa a la vez y continuar las estructuras periódicas de manera coherente. Se entrena con una combinación de pérdida adversaria y pérdida de percepción basada en una red que a su vez utiliza amplios campos receptivos. El resultado se generaliza notablemente bien, a menudo pintando imágenes 2K limpiamente después del entrenamiento solo en cultivos más pequeños.
Información técnica
El componente clave es la convolución rápida de Fourier. Una convolución normal solo analiza un pequeño parche local, por lo que capturar una estructura de largo alcance requiere una red muy profunda. FFC transforma parte del mapa de características en el dominio de la frecuencia, aplica una convolución allí y luego vuelve a transformarse. Debido a que las operaciones en el dominio de la frecuencia son inherentemente globales, una sola capa FFC mezcla información en toda la imagen, lo que ayuda a LaMa a repetir texturas y respetar la geometría global, como los bordes de las paredes.
Impacto Estratégico
Speed and scale
La IA visual puede automatizar tareas de inspección, detección y etiquetado a escala.
Construir opciones
Los equipos creativos pueden crear prototipos de conceptos más rápido y con menos revisiones manuales.
Equipo y flujo de trabajo
Las operaciones pueden utilizar señales de imagen y vídeo que antes eran difíciles de procesar.
El futuro de la resolución LaMa: pintura interna robusta
LaMa sigue siendo una base sólida y eficiente y está ampliamente integrado en herramientas gratuitas y editores de fotografías de código abierto porque se ejecuta rápidamente en hardware modesto sin un modelo de difusión gigante. La tendencia son las tuberías híbridas: use LaMa para rellenos estructurales instantáneos y borradores, luego, opcionalmente, refine los detalles con un modelo de difusión. Espere que su idea de convolución de Fourier siga apareciendo en la edición en tiempo real, la reparación de cuadros de video y la limpieza de fotografías móviles en el dispositivo, donde la velocidad y la poca memoria son lo más importante.
Implementación en el mundo real
Eliminar turistas o fotobombarderos de las fotos de viajes manteniendo la pared de fondo o el cielo sin interrupciones
Borrar marcas de agua, marcas de tiempo o logotipos de imágenes para trabajos de restauración legítimos
Eliminación de líneas eléctricas y señales de tráfico de fotografías de listados de bienes raíces
Restaurar fotografías escaneadas antiguas o dañadas rellenando rayones, roturas y esquinas faltantes
Riesgos y barandillas
Los derechos de imagen y el consentimiento pueden convertirse en riesgos legales si la procedencia no está clara.
El rendimiento del modelo puede variar según la iluminación, la demografía y los entornos.
Los falsos positivos pueden pasar desapercibidos a menos que se controlen los umbrales de confianza.
Hoja de ruta de implementación
Defina criterios de aceptación para costos de precisión, recuperación y error.
Pruebe con datos que coincidan con las condiciones reales de producción.
Agregue revisión humana para predicciones de baja confianza o de alto impacto.
Realice un seguimiento de la deriva del modelo y vuelva a validarlo después de cambios en la cámara o el conjunto de datos.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the LaMa Resolution-Robust Inpainting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Recuperación facial robusta de CodeFormer
Preguntas frecuentes
What is LaMa Resolution-Robust Inpainting?
LaMa (Large Mask inpainting) es una red neuronal rápida y liviana que llena limpiamente regiones faltantes o eliminadas de una imagen, incluso cuando el agujero es enorme. Es importante porque produce rellenos convincentes con resoluciones muy superiores a las que recibió el entrenamiento, lo que hace que la eliminación profesional de objetos sea accesible para cualquiera.
¿Cuál es el componente arquitectónico característico que le da a LaMa su visión global de una imagen?
LaMa utiliza convoluciones rápidas de Fourier (FFC), que operan parcialmente en el dominio de la frecuencia para proporcionar un campo receptivo global en una sola capa.
¿Por qué LaMa maneja mejor las máscaras grandes que muchos modelos anteriores en pintura?
Debido a que los FFC ven la imagen completa a la vez, LaMa puede continuar de manera coherente texturas y geometría incluso en regiones faltantes muy grandes.
Una fortaleza notable de LaMa es su capacidad para pintar imágenes ¿a qué tipo de resolución?
LaMa generaliza bien a resoluciones superiores a las observadas durante el entrenamiento, por lo que se le llama resolución robusta.
¿Qué tipo de texturas maneja LaMa especialmente bien gracias a su procesamiento en el dominio de la frecuencia?
Las convoluciones en el dominio de la frecuencia se adaptan bien a los patrones periódicos, por lo que LaMa continúa repitiendo limpiamente texturas como paredes de ladrillo y pisos de baldosas.
¿Qué pérdida ayuda a LaMa a producir rellenos de apariencia realista en lugar de promedios borrosos?
LaMa combina pérdidas de percepción y de confrontación, fomentando texturas nítidas y plausibles en lugar de píxeles promedio borrosos.