Групова нормализация
Груповата нормализация е техника, която стабилизира обучението на невронни мрежи чрез нормализиране на функции в малки групи от канали, независимо за всеки пример.
Преглед
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
Дълбоко гмуркане
Слоевете за нормализиране поддържат числата, преминаващи през мрежа, добре мащабирани, което ускорява и стабилизира обучението. Нормализацията на партиди прави това чрез изчисляване на средната стойност и дисперсията на всяка характеристика в цялата мини-партида, но това я прави крехка, когато партидите са малки, тъй като статистиката става шумна и ненадеждна. Груповата нормализация, въведена от Wu и He през 2018 г., премахва изцяло партидата от уравнението. За всеки отделен пример той разделя каналите на фиксиран брой групи, след което нормализира всяка група, като използва само собствените стойности на този пример. Тъй като изчислението никога не зависи от други примери в пакета, производителността остава стабилна, независимо дали пакетът съдържа 32 изображения или само едно, което го прави популярен при задачи за откриване, сегментиране и натоварващи паметта зрителни задачи.
Техническа информация
Груповата норма изчислява средната стойност и дисперсията върху пространствените измерения и върху каналите във всяка група, за проба. След това се нормализира до нулева средна стойност и дисперсия на единица и прилага научен мащаб на канал (гама) и отместване (бета). Той обобщава други схеми: с една група става нормализиране на слоя, а с един канал на група става нормализиране на екземпляр. Броят на групите е хиперпараметър, често зададен на 32.
Стратегическо въздействие
Clearer decisions
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Cost and budget
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Team and workflow
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Бъдещето на груповата нормализация
Груповата нормализация остава предпочитаният избор навсякъде, където партидите трябва да са малки, като откриване и сегментиране с висока разделителна способност, 3D и видео модели и обучение с ограничена памет. Той също така е вграден в широко използвани генеративни архитектури като U-Nets вътрешни дифузионни модели. Тъй като моделите растат и натискът върху паметта намалява размерите на партидите, независимите от партиди нормализатори, Group Norm сред тях заедно с Layer Norm, вероятно ще останат градивни елементи по подразбиране, с продължаващо изследване на хибриди и алтернативи без нормализиране.
Внедряване в реалния свят
Откриване на обекти и сегментиране на екземпляри (напр. модели в стил Mask R-CNN), обучени с много малки партиди за GPU.
Гръбнаците на U-Net вътре в генераторите на дифузионни изображения, където Group Norm стабилизира скалите на характеристиките.
3D и видео мрежите, при които голямото използване на памет намалява размерите на пакетите до един или два.
Фина настройка на модели с голямо виждане на ограничен хардуер, където малки партиди правят статистиката на Batch Norm ненадеждна.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Документирайте къде груповата нормализация помага и къде по-простите методи са по-добри.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Групирана нормализация на възнагражденията в RLHF
Frequently asked questions
What is Group Normalization?
Груповата нормализация е техника, която стабилизира обучението на невронни мрежи чрез нормализиране на функции в малки групи от канали, независимо за всеки пример. Има значение, защото за разлика от нормализацията на партиди работи добре дори когато партидите са малки.
Какво е основното предимство на груповата нормализация пред пакетната нормализация?
Тъй като Group Norm изчислява статистика за пример, а не в партида, тя не се влошава от малки партиди, за разлика от Batch Norm.
Върху какво груповата нормализация изчислява средната стойност и дисперсията си?
Той разделя каналите на групи и нормализира всяка група, като използва само стойностите и пространствените местоположения на този единичен пример, като игнорира останалата част от партидата.
В кой специален случай груповата нормализация става нормализация на слоя?
С една група всички канали се нормализират заедно за пример, което е точно нормализиране на слоя.
В кой специален случай груповата нормализация става нормализация на екземпляр?
Ако всяка група съдържа един канал, всеки канал се нормализира самостоятелно за пример, което е нормализиране на екземпляра.
След нормализиране какво се прилага груповата норма за възстановяване на гъвкавостта на представяне?
Подобно на други слоеве за нормализиране, Group Norm включва параметри за мащаб и изместване, които могат да се научат, така че мрежата да може да отмени или коригира нормализирането според нуждите.