深度可分离卷积
深度可分离卷积将标准卷积分解为两个更便宜的步骤，从而减少了乘法和参数的数量。
概述
They are the trick that lets neural networks run on phones and edge devices without melting the battery.
深入探讨
标准卷积在单个密集操作中混合空间和通道上的信息，这是昂贵的。深度可分离卷积将其分为两个阶段。首先，深度步骤独立地为每个输入通道应用一个小滤波器，捕获每个通道内的空间模式，但从不混合通道。其次，逐点步骤使用 1x1 卷积来组合每个像素的通道，混合通道信息而无需查看邻居。通过将空间滤波与通道混合解耦，总计算量显着下降，通常是 3x3 滤波器的 8 到 9 倍，而精度损失很小。这种分解是 MobileNet 和 Xception 的支柱。
技术洞察
对于通过特征映射将 M 个输入通道映射到 N 个输出的 3x3 内核，标准卷积的成本约为每个位置的 M 乘 N 乘加的 9 倍。可分离版本的深度部分成本为 9 倍 M，加上逐点 1x1 部分的 M 倍 N。该比率约为 1/N + 1/9，因此对于较大的 N，节省的空间因子接近 1/9。
战略影响
成本与预算
多年来，架构决策决定着性能和运营成本。
更清晰的判决
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
质量控制
更好的工程选择可以减少生产中的可靠性事故。
深度可分离卷积的未来
深度可分离卷积仍然是高效视觉模型的主要内容，并且越来越多地出现在 MobileViT 和 ConvNeXt 模块等混合 CNN 变压器设计中。随着设备上人工智能的发展，硬件加速器正在增加对深度操作的本机支持。预计将继续用于实时视觉、可穿戴传感器以及任何延迟、内存和能源预算紧张的环境，通常与量化和神经架构搜索相结合。
现实世界的实施
MobileNet 和 MobileNetV2 使用它们直接在智能手机上运行图像分类，延迟最小
视频通话应用程序中的实时肖像分割和背景模糊依赖于轻量级可分离主干
安全摄像头和无人机中的设备上物体检测，其中功率和计算都有限
Xception 大规模应用它们来提高 ImageNet 的准确性，同时控制参数计数
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实际负载和数据条件下进行基准测试。
仪器监控错误、漂移和用户影响。
在扩展之前准备回滚和事件响应路径。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Depthwise Separable Convolutions quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Depthwise Separable Convolutions?
深度可分离卷积将标准卷积分解为两个更便宜的步骤，从而减少了乘法和参数的数量。它们是让神经网络在手机和边缘设备上运行而无需熔化电池的技巧。
深度可分离卷积将标准卷积分为哪两个步骤？
深度步骤单独对每个通道进行空间过滤，然后逐点 1x1 步骤组合跨通道的信息。
在深度步骤中，如何处理输入通道？
深度卷积将单独的空间滤波器应用于每个输入通道，而不混合通道，这使得它很便宜。
与具有多个输出通道的标准 3x3 卷积相比，3x3 深度可分离卷积大约可以减少多少计算量？
对于 3x3 内核，当输出通道数量很大时，节省率接近 1/9，从而减少大约 8 到 9 倍的操作。
在此设计中，逐点 (1x1) 卷积的作用是什么？
1x1 逐点卷积混合每个像素处的通道，而深度步骤故意避免这样做。
哪个著名的架构在移动设备上普及了深度可分离卷积？
MobileNet 是围绕深度可分离卷积构建的，专门用于在手机上实现高效推理。