概述
这使得模型在处理奇特形状、比例变化和几何畸变方面表现得更好。
深入探讨
普通卷积以固定偏移量对像素进行采样——以每个位置为中心的整齐的 3x3 网格。这对于纹理来说效果很好，但当物体倾斜、拉伸或形状奇怪时就很困难了。 Dai 及其同事在 Microsoft Research 于 2017 年引入的可变形卷积为每个采样点添加了一个小的学习偏移。网络查看输入并预测每个网格位置的 2D 偏移，因此感受野可以扭曲以拥抱弯曲的边缘或跟随倾斜的肢体。可变形 RoI 池化将相同的想法应用于区域特征。版本 2（2018）添加了每点调制权重，让层抑制或放大每个样本，从而提高了 COCO 等基准上的对象检测精度。
现实世界的实施
COCO 上的物体检测，其中可变形层提高了火车和长颈鹿等细长或旋转物体的准确性
街道场景的语义分割，帮助模型追踪弯曲的车道标记和不规则的建筑轮廓
用于端到端检测的可变形 DETR，使用学习到的偏移量使 Transformer 注意力高效
医学成像，其中肿瘤和器官具有非刚性形状，固定网格捕捉效果较差
可变形卷积的未来
可变形注意力已成为现代检测的支柱：可变形 DETR 使用学习的采样偏移量使 Transformer Attention 变得稀疏且快速，与原始 DETR 相比，大大缩短了训练时间。预计可变形原理将继续传播到视频、3D 点云和视觉语言模型中，其中自适应采样有助于处理运动、遮挡和不规则几何形状。随着对不规则内存访问的硬件支持的改进，可变形算子也应该变得更便宜并且更广泛地部署在边缘设备上。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是可变形卷积？
可变形卷积让神经网络弯曲其采样网格以遵循对象的实际形状，而不是强迫它通过刚性的方形窗口。这使得模型能够更好地处理奇怪的形状、比例变化和几何扭曲。
与标准卷积相比，可变形卷积增加了什么？
可变形卷积预测每个采样位置的学习偏移量（dx，dy），让网格扭曲以匹配对象形状。
可变形卷积中的采样偏移是如何生成的？
并行卷积分支输出偏移量，这些偏移量是通过反向传播端到端学习的。
由于预测的偏移通常是小数，因此如何在这些位置对像素值进行采样？
分数偏移需要双线性插值，这使训练操作保持可微分。
Deformable ConvNets v2 (2018) 在原来的基础上添加了什么？
v2 引入了调制，即每个采样点学习的权重，可以放大或抑制其影响，从而提高准确性。
为什么可变形卷积对于不规则形状的物体特别有用？
通过弯曲采样网格，有效感受野与物体的几何形状而不是刚性的正方形对齐。