LaMa 分辨率-稳健修复
LaMa（大掩模修复）是一种快速、轻量级的神经网络，即使孔很大，也能干净地填充图像中缺失或删除的区域。
概述
It matters because it produces convincing fills at resolutions far higher than it was trained on, making professional object removal accessible to anyone.
深入探讨
三星 AI 研究人员于 2021 年推出的 LaMa 解决了一个长期存在的问题：大多数修复模型在被要求填充大型蒙版或重复纹理（如砖墙和瓷砖地板）时会出现污点或模糊。它的突破在于使用快速傅立叶卷积（FFC），它为网络提供了单层的全局感受野，而不是需要数十个堆叠的卷积。这让 LaMa 立即“看到”整个图像，并连贯地延续周期性结构。它基于本身使用广泛接受域的网络，结合对抗性损失和感知损失进行训练。结果概括得非常好，通常在仅对较小的作物进行训练后就能干净地修复 2K 图像。
技术洞察
关键组件是快速傅立叶卷积。普通的卷积仅查看一个小的局部补丁，因此捕获远程结构需要非常深的网络。 FFC 将部分特征图变换到频域，在那里应用卷积，然后变换回来。由于频域操作本质上是全局的，因此单个 FFC 层会混合整个图像中的信息，帮助 LaMa 重复纹理并尊重全局几何形状（例如墙壁边缘）。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
LaMa 分辨率的未来-稳健修复
LaMa 仍然是一个强大、高效的基准，并广泛嵌入免费工具和开源照片编辑器中，因为它在普通硬件上运行速度快，无需巨大的扩散模型。趋势是混合管道：使用 LaMa 进行即时结构填充和粗草图，然后可以选择使用扩散模型细化细节。预计其傅立叶卷积思想将继续出现在实时编辑、视频帧修复和设备上的移动照片清理中，这些领域速度和低内存是最重要的。
现实世界的实施
从旅行照片中删除游客或照片轰炸者，同时保持背景墙或天空无缝
从图像中删除水印、时间戳或徽标以进行合法的修复工作
从房地产列表照片中删除电线和街道标志
通过填充划痕、撕裂和缺失的角落来恢复旧的或损坏的扫描照片
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the LaMa Resolution-Robust Inpainting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is LaMa Resolution-Robust Inpainting?
LaMa（大掩模修复）是一种快速、轻量级的神经网络，即使孔很大，也能干净地填充图像中缺失或删除的区域。这很重要，因为它以远高于训练时的分辨率产生令人信服的填充，使任何人都可以进行专业的对象移除。
赋予 LaMa 图像全球视野的标志性建筑组件是什么？
LaMa 使用快速傅立叶卷积 (FFC)，其部分在频域中运行，以在单层中提供全局感受野。
为什么 LaMa 比许多早期的修复模型更能处理大型面具？
由于 FFC 可以立即看到整个图像，因此即使在非常大的缺失区域中，LaMa 也可以连贯地延续纹理和几何形状。
LaMa 的一个显着优势是它能够以何种分辨率修复图像？
LaMa 能够很好地概括出比训练期间看到的分辨率更高的分辨率，这就是它被称为分辨率鲁棒的原因。
由于其频域处理，LaMa 能够特别出色地处理哪种纹理？
频域卷积非常适合周期性图案，因此 LaMa 干净利落地继续重复砖墙和瓷砖地板等纹理。
哪种损失有助于 LaMa 生成逼真的填充而不是模糊的平均值？
LaMa 结合了对抗性和感知损失，鼓励清晰、可信的纹理，而不是模糊的平均像素。