概述
這很重要,因為與批量歸一化不同,即使批量很小,它也能很好地工作。
深入探討
歸一化層使流經網路的數字保持良好的規模,從而加速和穩定訓練。批量歸一化透過計算整個小批量中每個特徵的平均值和變異數來實現此目的,但是當批次較小時,這會使其變得脆弱,因為統計資料會變得嘈雜且不可靠。 Wu 和 He 在 2018 年引入的組標準化將批次從方程中完全刪除。對於每個單獨的範例,它將通道分為固定數量的組,然後僅使用該範例自己的值對每個組進行標準化。由於計算從不依賴批次中的其他範例,因此無論批次包含 32 張影像還是僅一張影像,效能都保持穩定,這使其在檢測、分割和記憶體密集型視覺任務中很受歡迎。
現實世界的實施
物件偵測和實例分割(例如,Mask R-CNN 樣式模型)使用非常小的每 GPU 批次進行訓練。
U-Net 主幹位於擴散影像產生器內,其中組範數穩定了特徵尺度。
3D 和視訊網路中的高記憶體使用迫使批量大小降至一到兩個。
在有限的硬體上微調大型視覺模型,其中小批量使得 Batch Norm 統計數據不可靠。
群體正常化的未來
在批次必須很小的情況下,群組歸一化仍然是首選,例如高解析度偵測和分割、3D 和視訊模型以及記憶體有限的訓練。它也嵌入到廣泛使用的生成架構中,例如擴散模型中的 U-Net。隨著模型的增長和記憶體壓力導致批量大小減小,隨著對混合和無標準化替代方案的持續研究,與批量無關的標準化器(其中的組標準化器與層標準化器一起)可能仍然是預設的構建塊。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄組歸一化在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
常見問題
什麼是組別標準化?
組標準化是一種透過對每個範例獨立標準化小組通道內的特徵來穩定神經網路訓練的技術。這很重要,因為與批量歸一化不同,即使批量很小,它也能很好地工作。
Group Normalization 在哪些維度上計算統計量?
指南指出,GN 會對每個範例中的通道群組進行正規化。
為什麼在非常小的批次中 GroupNorm 可能比 BatchNorm 更好?
該論文強調在小批次大小下具有穩定的行為,因為計算不依賴批次統計量。
GroupNorm 與批次大小無關的意義是什麼?
該論文的計算使用範例內的群組統計量,與批次大小無關。
哪個 GroupNorm 設定對應於一個群組包含所有通道?
指南指出,若只有一個群組,該方案將簡化為 LayerNorm。
哪個 GroupNorm 設定對應於每個群組僅有一個通道?
指南指出,每個群組對應一個通道時,相當於 InstanceNorm。