挤压和激励网络
挤压和激励（SE）块让卷积网络了解每个特征通道的权重，并根据全局上下文重新校准它们。
概述
This cheap attention-like mechanism won the 2017 ImageNet competition and became a standard CNN building block.
深入探讨
SE 模块由 Hu、Shen 和 Sun 于 2017 年提出，为 CNN 增加了显式通道关注。它分两步进行。 “挤压”使用全局平均池化将每个特征图（高度 x 宽度）折叠为单个数字，为每个通道生成一个描述符来总结其全局激活。 “激励”通过两个带有瓶颈的小型全连接层（一个 ReLU，然后是一个 sigmoid）将该向量馈入，以产生 0 到 1 之间的每通道权重。这些权重与原始特征图相乘，放大有用的通道并抑制不相关的通道。 SENet 赢得了 ILSVRC 2017 分类挑战，将 top-5 错误率降低至约 2.25%。该块仅添加百分之几的额外参数和计算，并以最小的更改插入到 ResNet、Inception 或 MobileNet 中。
技术洞察
挤压产生一个 C 长度向量 z，其中 z_c 是通道 c 的空间平均值。激励计算 s = sigmoid(W2 * ReLU(W1 * z))，其中 W1 按缩减比率 r（通常为 16）减少维度，而 W2 恢复它，从而保持增加的成本很小。输出是按通道按 s 缩放的输入特征图。这是一种自我控制的形式：网络根据全球统计数据决定哪些渠道对于该特定输入很重要。
战略影响
成本与预算
多年来，架构决策决定着性能和运营成本。
更清晰的判决
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
质量控制
更好的工程选择可以减少生产中的可靠性事故。
挤压和激励网络的未来
SE 块存在于高效架构内部：EfficientNet 和 MobileNetV3 将它们嵌入到其构建块中。这个想法催生了一系列注意力模块，CBAM 增加了空间注意力，ECA-Net 用廉价的一维卷积取代了瓶颈，这些轻量级的重新校准技巧现在出现在检测、分割，甚至一些视觉变换器混合中。只要卷积持续存在，预计通道注意力仍然是一个低成本的准确性杠杆。
现实世界的实施
SENet 通过将 SE 块添加到 ResNeXt 主干网络赢得了 ImageNet ILSVRC 2017 分类挑战赛
EfficientNet 和 MobileNetV3 在每个块中嵌入 SE 模块，以提高移动设备上的准确性
对象检测器和分割模型插入 SE 块以强调信息丰富的特征通道
ECA-Net 和 CBAM 通过更便宜或空间感知的通道重新校准扩展了 SE 理念
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实际负载和数据条件下进行基准测试。
仪器监控错误、漂移和用户影响。
在扩展之前准备回滚和事件响应路径。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Squeeze-and-Excitation Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Squeeze-and-Excitation Networks?
挤压和激励（SE）块让卷积网络了解每个特征通道的权重，并根据全局上下文重新校准它们。这种廉价的类注意力机制赢得了 2017 年 ImageNet 竞赛，并成为标准的 CNN 构建块。
SE 块中的“挤压”步骤有什么作用？
挤压应用全局平均池化，将每个特征图折叠成每个通道的单个描述符。
“激励”步骤输出什么？
激励将压缩矢量传递通过两个以 s 形曲线结尾的 FC 层，产生每个通道的缩放权重。
激励权重如何应用于原始特征图？
每个通道的特征图乘以其学习的权重，放大或抑制该通道。
为什么激励使用具有减速比（通常为16）的瓶颈？
瓶颈缩小然后恢复通道尺寸，因此 SE 块的成本仅增加几个百分点。
SENet 在 2017 年赢得了哪些比赛？
SENet 赢得了 ILSVRC 2017 图像分类挑战赛，将 top-5 错误率推至约 2.25%。