グループの正規化
グループ正規化は、サンプルごとに独立してチャネルの小さなグループ内の特徴を正規化することにより、ニューラル ネットワークのトレーニングを安定化する手法です。
概要
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
ディープダイブ
正規化層は、ネットワーク内での数値の流れを適切にスケールし、トレーニングを高速化し、安定させます。バッチ正規化は、ミニバッチ全体にわたる各特徴の平均と分散を計算することによってこれを行いますが、バッチが小さい場合、統計にノイズが多く信頼性がなくなるため、脆弱になります。 Wu と He によって 2018 年に導入されたグループ正規化は、方程式からバッチを完全に削除します。個々のサンプルごとに、チャネルを固定数のグループに分割し、そのサンプル独自の値のみを使用して各グループを正規化します。計算がバッチ内の他のサンプルに依存しないため、バッチに 32 枚の画像が含まれているか、1 枚だけの画像が含まれているかに関係なく、パフォーマンスが安定しており、検出、セグメンテーション、およびメモリを大量に使用するビジョン タスクでよく使用されています。
技術的な洞察
Group Norm は、サンプルごとに、空間次元および各グループ内のチャネルにわたる平均と分散を計算します。次に、ゼロ平均と単位分散に正規化し、学習したチャネルごとのスケール (ガンマ) とシフト (ベータ) を適用します。これは他のスキームを一般化します。1 つのグループではレイヤ正規化になり、グループごとに 1 つのチャネルではインスタンス正規化になります。グループ数はハイパーパラメータであり、多くの場合 32 に設定されます。
戦略的影響
より明確な判決
これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
費用と予算
お金や時間を費やす前に、実装に関するより良い質問をすることができます。
チームとワークフロー
共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
グループ正常化の未来
グループ正規化は、高解像度の検出とセグメンテーション、3D モデルとビデオ モデル、メモリ制限のあるトレーニングなど、バッチを小さくする必要がある場合に引き続き頼りになる選択肢です。また、拡散モデル内の U-Net など、広く使用されている生成アーキテクチャにも組み込まれています。モデルが成長し、メモリ不足によりバッチ サイズが縮小されるにつれて、バッチに依存しないノーマライザー、その中には Layer Norm と並んで Group Norm がデフォルトのビルディング ブロックとして残り、ハイブリッドおよび正規化不要の代替手段の研究が継続される可能性があります。
現実世界の実装
非常に小さな GPU ごとのバッチでトレーニングされたオブジェクト検出とインスタンス セグメンテーション (マスク R-CNN スタイル モデルなど)。
拡散画像ジェネレーター内の U-Net バックボーン。グループ ノルムによって特徴スケールが安定します。
メモリ使用量が多い場合、バッチ サイズが 1 つまたは 2 つに縮小される 3D およびビデオ ネットワーク。
小さなバッチによりバッチ ノルム統計の信頼性が低くなる、限られたハードウェア上で大規模なビジョン モデルを微調整します。
リスクとガードレール
チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
実装ロードマップ
必要な結果を平易な言葉で定義することから始めます。
テストする前に、成功指標と失敗条件を 1 つ選択します。
洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
グループ正規化が役立つ場合と、より単純な方法の方が優れている場合を文書化します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
RLHF におけるグループ化された報酬の正規化
よくある質問
What is Group Normalization?
グループ正規化は、サンプルごとに独立してチャネルの小さなグループ内の特徴を正規化することにより、ニューラル ネットワークのトレーニングを安定化する手法です。バッチ正規化とは異なり、バッチが小さい場合でも適切に機能するため、これは重要です。
バッチ正規化に対するグループ正規化の主な利点は何ですか?
Group Norm はバッチ全体ではなくサンプルごとに統計を計算するため、Batch Norm とは異なり、小さなバッチによって統計が低下することはありません。
グループ正規化は何を対象として平均と分散を計算しますか?
チャネルをグループに分割し、バッチの残りの部分を無視して、その 1 つの例の値と空間的位置のみを使用して各グループを正規化します。
グループ正規化がレイヤー正規化になるのはどの特殊な場合ですか?
単一のグループでは、例ごとにすべてのチャネルが一緒に正規化されます。これはまさにレイヤー正規化です。
グループの正規化がインスタンスの正規化になるのは、どの特殊な場合ですか?
すべてのグループが 1 つのチャネルを保持する場合、例に従って各チャネルが独自に正規化されます。これがインスタンス正規化です。
正規化後、表現の柔軟性を回復するためにグループ規範は何を適用しますか?
他の正規化レイヤーと同様に、グループ ノルムには学習可能なスケールおよびシフト パラメーターが含まれているため、ネットワークは必要に応じて正規化を元に戻したり、調整したりできます。