概述
它们赋予 CNN 内在的空间注意力和不变性。
深入探讨
标准卷积网络对于位置、尺度和旋转的变化只有弱不变性，依赖于池化来获得一点容忍度。空间变换网络，由 Jaderberg 等人提出。 2015 年，通过插入一个可微模块来解决这个问题，该模块在特征图上执行显式几何变换。该模块由三个部分组成：预测变换参数的定位网络、根据这些参数构建采样网格的网格生成器以及在网格点处对输入进行插值的采样器。由于每个步骤都是可微分的，因此整个变压器通过反向传播进行端到端训练，无需额外的监督。例如，网络学习拉直倾斜的数字或放大相关区域，从而提高准确性和鲁棒性。
现实世界的实施
在场景文本 OCR 系统中识别之前拉直和对齐弯曲或旋转的文本
放大有区别的区域（如鸟嘴或翅膀）以进行细粒度图像分类
将人脸姿势和对齐标准化作为人脸识别流程中的预处理步骤
校正医学图像配准中的扭曲并对齐扫描
空间变压器网络的未来
STN 影响了网络处理几何和注意力的方式，将其输入到可变形卷积和学习扭曲模块中。虽然自注意力变换器现在占据主导地位，但 STN 风格的可微采样仍然存在于需要显式几何对齐的任务中：文本识别、细粒度分类和姿势归一化。预计可微扭曲将继续出现在 3D 视觉、神经渲染和医学图像配准中，通常与注意力相结合，而不是被注意力所取代。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是空间变换网络？
空间变换网络 (STN) 是可学习的模块，可让神经网络主动扭曲、旋转、裁剪或重新调整其输入以专注于重要的事情。它们赋予 CNN 一种内置的空间注意力和不变性意识。
空间变换网络为神经网络添加了什么功能？
STN 插入一个可学习的模块，可以平移、旋转、缩放或扭曲特征图以专注于相关内容。
空间变换器模块由哪三个组件组成？
STN 由定位网络（预测参数）、网格生成器（构建采样坐标）和采样器（对输入进行插值）组成。
为什么空间变换网络可以用普通的反向传播来训练？
采样器中的双线性插值是可微的，因此梯度通过网格生成器流回定位网络，从而实现端到端训练。
定位网络通常为仿射变换输出什么？
对于仿射变换，定位网络预测排列为 2x3 矩阵的六个值，编码平移、缩放、旋转和剪切。
为什么标准 CNN 对空间变化仅具有弱不变性，从而激发了 STN？
CNN 通过池化只能实现适度的空间不变性； STN 添加了一种明确的、可学习的方法来处理位置、缩放和旋转。