可变形卷积
可变形卷积让神经网络弯曲其采样网格以遵循对象的实际形状，而不是强迫它通过刚性的方形窗口。
概述
这使得模型在处理奇特形状、比例变化和几何畸变方面表现得更好。
深入探讨
普通卷积以固定偏移量对像素进行采样——以每个位置为中心的整齐的 3x3 网格。这对于纹理来说效果很好，但当物体倾斜、拉伸或形状奇怪时就很困难了。 Dai 及其同事在 Microsoft Research 于 2017 年引入的可变形卷积为每个采样点添加了一个小的学习偏移。网络查看输入并预测每个网格位置的 2D 偏移，因此感受野可以扭曲以拥抱弯曲的边缘或跟随倾斜的肢体。可变形 RoI 池化将相同的想法应用于区域特征。版本 2（2018）添加了每点调制权重，让层抑制或放大每个样本，从而提高了 COCO 等基准上的对象检测精度。
技术洞察
偏移量由并行运行的额外卷积层产生，为 N 点内核输出 2N 个值（每点一个 dx，一个 dy）。由于预测的偏移量是小数，因此采样的像素值是通过双线性插值计算的，这使整个操作保持可微分。偏移量是通过正常的反向传播端到端学习的——没有单独的监督告诉网络去哪里寻找。增加的成本是适度的，因为偏移分支相对于主要特征图来说是轻量级的。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
可变形卷积的未来
可变形注意力已成为现代检测的支柱：可变形 DETR 使用学习的采样偏移量使 Transformer Attention 变得稀疏且快速，与原始 DETR 相比，大大缩短了训练时间。预计可变形原理将继续传播到视频、3D 点云和视觉语言模型中，其中自适应采样有助于处理运动、遮挡和不规则几何形状。随着对不规则内存访问的硬件支持的改进，可变形算子也应该变得更便宜并且更广泛地部署在边缘设备上。
现实世界的实施
COCO 上的物体检测，其中可变形层提高了火车和长颈鹿等细长或旋转物体的准确性
街道场景的语义分割，帮助模型追踪弯曲的车道标记和不规则的建筑轮廓
用于端到端检测的可变形 DETR，使用学习到的偏移量使 Transformer 注意力高效
医学成像，其中肿瘤和器官具有非刚性形状，固定网格捕捉效果较差
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Deformable Convolutions quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是可变形卷积？
可变形卷积让神经网络弯曲其采样网格以遵循对象的实际形状，而不是强迫它通过刚性的方形窗口。这使得模型能够更好地处理奇怪的形状、比例变化和几何扭曲。
与标准卷积相比，可变形卷积增加了什么？
可变形卷积预测每个采样位置的学习偏移量（dx，dy），让网格扭曲以匹配对象形状。
可变形卷积中的采样偏移是如何生成的？
并行卷积分支输出偏移量，这些偏移量是通过反向传播端到端学习的。
由于预测的偏移通常是小数，因此如何在这些位置对像素值进行采样？
分数偏移需要双线性插值，这使训练操作保持可微分。
Deformable ConvNets v2 (2018) 在原来的基础上添加了什么？
v2 引入了调制，即每个采样点学习的权重，可以放大或抑制其影响，从而提高准确性。
为什么可变形卷积对于不规则形状的物体特别有用？
通过弯曲采样网格，有效感受野与物体的几何形状而不是刚性的正方形对齐。