组标准化
组标准化是一种通过对每个示例独立地标准化小组通道内的特征来稳定神经网络训练的技术。
概述
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
深入探讨
归一化层使流经网络的数字保持良好的规模，从而加速和稳定训练。批量归一化通过计算整个小批量中每个特征的均值和方差来实现此目的，但是当批量较小时，这会使其变得脆弱，因为统计数据会变得嘈杂且不可靠。 Wu 和 He 在 2018 年引入的组标准化将批次从方程中完全删除。对于每个单独的示例，它将通道分为固定数量的组，然后仅使用该示例自己的值对每个组进行标准化。由于计算从不依赖于批次中的其他示例，因此无论批次包含 32 张图像还是仅一张图像，性能都保持稳定，这使其在检测、分割和内存密集型视觉任务中很受欢迎。
技术洞察
组范数计算每个样本的空间维度和每组内通道的平均值和方差。然后，它归一化为零均值和单位方差，并应用学习的每通道尺度 (gamma) 和偏移 (beta)。它概括了其他方案：对于一个组，它成为层规范化，对于每组一个通道，它成为实例规范化。组数是一个超参数，通常设置为 32。
战略影响
更清晰的判决
它可以帮助您将清晰的技术声明与营销语言分开。
成本与预算
在花费金钱或时间之前，您可以提出更好的实施问题。
团队与工作流程
具有共同理解的团队可以做出更好的产品、政策和学习决策。
群体正常化的未来
在批量必须很小的情况下，组归一化仍然是首选，例如高分辨率检测和分割、3D 和视频模型以及内存有限的训练。它还嵌入到广泛使用的生成架构中，例如扩散模型中的 U-Net。随着模型的增长和内存压力导致批量大小减小，随着对混合和无标准化替代方案的持续研究，与批量无关的标准化器（其中的组标准化器与层标准化器一起）可能仍然是默认的构建块。
现实世界的实施
对象检测和实例分割（例如，Mask R-CNN 样式模型）使用非常小的每 GPU 批次进行训练。
U-Net 主干位于扩散图像生成器内，其中组范数稳定了特征尺度。
3D 和视频网络中的高内存使用迫使批量大小降至一到两个。
在有限的硬件上微调大型视觉模型，其中小批量使得 Batch Norm 统计数据不可靠。
风险与防护栏
不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
基准测试可能看起来很强大，但实际性能却参差不齐。
忽视数据质量和评估计划通常会产生脆弱的结果。
实施路线图
从您需要的结果的简单语言定义开始。
在测试之前选择一种成功指标和一种失败条件。
使用代表性数据运行小型试点，而不是完善的演示集。
记录组归一化在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Group Normalization?
组标准化是一种通过对每个示例独立地标准化小组通道内的特征来稳定神经网络训练的技术。这很重要，因为与批量归一化不同，即使批量很小，它也能很好地工作。
组归一化相对于批量归一化的主要优点是什么？
由于 Group Norm 计算每个示例的统计数据而不是跨批次的统计数据，因此与 Batch Norm 不同，它不会因小批量而降级。
组归一化通过什么计算其均值和方差？
它将通道分成组，并仅使用单个示例的值和空间位置对每个组进行标准化，而忽略批次的其余部分。
在哪种特殊情况下，组标准化会变成层标准化？
对于单个组，每个示例的所有通道都一起标准化，这正是层标准化。
在哪种特殊情况下，组标准化会变成实例标准化？
如果每个组都拥有一个通道，则每个通道都会根据示例对其进行标准化，这就是实例标准化。
标准化后，群体规范应用什么来恢复表征灵活性？
与其他归一化层一样，Group Norm 包括可学习的尺度和移位参数，因此网络可以根据需要撤消或调整归一化。