ДаліНаступний посібник
Нормалізація згрупованої винагороди в RLHF
основи
ПОСІБНИК З ОСНОВ
Нормалізація групи
Групова нормалізація — це техніка, яка стабілізує навчання нейронної мережі шляхом нормалізації функцій у невеликих групах каналів, незалежно для кожного прикладу.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
Глибоке занурення
Рівні нормалізації забезпечують добре масштабування чисел через мережу, що прискорює та стабілізує навчання. Пакетна нормалізація робить це, обчислюючи середнє значення та дисперсію кожної функції для всієї міні-партії, але це робить її крихкою, коли партії невеликі, оскільки статистика стає шумною та ненадійною. Групова нормалізація, запроваджена Ву та Хе у 2018 році, повністю вилучає партію з рівняння. Для кожного окремого прикладу він розбиває канали на фіксовану кількість груп, а потім нормалізує кожну групу, використовуючи лише власні значення цього прикладу. Оскільки обчислення ніколи не залежить від інших прикладів у пакеті, продуктивність залишається незмінною, незалежно від того, чи містить пакет 32 зображення чи лише одне, що робить його популярним у задачах виявлення, сегментації та пам’яті, які потребують великої кількості пам’яті.
Реалізація в реальному світі
Виявлення об’єктів і сегментація екземплярів (наприклад, моделі в стилі Mask R-CNN), навчені дуже невеликими партіями для GPU.
Магістралі U-Net у генераторах дифузійних зображень, де групова норма стабілізує масштаби ознак.
Тривимірні та відеомережі, де велике використання пам’яті зменшує розміри пакетів до одного чи двох.
Точне налаштування великих моделей бачення на обмеженому обладнанні, де невеликі партії роблять статистику Batch Norm ненадійною.
Майбутнє групової нормалізації
Групова нормалізація залишається вибором у випадках, коли партії мають бути невеликими, як-от виявлення та сегментація з високою роздільною здатністю, 3D- та відеомоделі та навчання з обмеженим обсягом пам’яті. Він також вбудований у широко використовувані генеративні архітектури, такі як моделі внутрішньої дифузії U-Nets. У міру того, як моделі зростають, а обсяг пам’яті зменшує розмір пакетів, незалежні від пакетів нормалізатори, серед яких Group Norm і Layer Norm, ймовірно, залишаться стандартними будівельними блоками з продовженням досліджень гібридів і альтернатив без нормалізації.
Застосування на практиці
Чому це важливо
- Чіткіші рішення. Це допоможе вам відокремити чіткі технічні заяви від маркетингової мови.
- Вартість і бюджет. Перш ніж витрачати гроші чи час, ви можете задати питання про кращу реалізацію.
- Команда та робочий процес. Команди зі спільним розумінням приймають кращі рішення щодо продуктів, політики та навчання.
Зверніть увагу на
- Різні команди можуть використовувати той самий термін по-різному, тому визначте обсяг завчасно.
- Порівняльні показники можуть виглядати сильними, тоді як продуктивність у реальному світі нерівномірна.
- Ігнорування якості даних і планів оцінки часто призводить до нестабільних результатів.
Наступні кроки
- Почніть із простого визначення необхідного результату.
- Перед тестуванням виберіть одну метрику успіху та одну умову невдачі.
- Запустіть невеликий пілот із репрезентативними даними, а не відшліфованим демонстраційним набором.
- Задокументуйте, де нормалізація групи допомагає, а де простіші методи кращі.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Group Normalization quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is Group Normalization?
Групова нормалізація — це техніка, яка стабілізує навчання нейронної мережі шляхом нормалізації функцій у невеликих групах каналів, незалежно для кожного прикладу. Це важливо, тому що, на відміну від пакетної нормалізації, вона добре працює, навіть якщо партії невеликі.
Across what dimensions does Group Normalization compute statistics?
The guide says GN normalizes groups of channels within each example.
Why can GroupNorm be preferable to BatchNorm for very small batches?
The paper emphasizes stable behavior at small batch sizes because computation does not rely on batch statistics.
What does GroupNorm’s independence from batch size mean?
The paper’s computation uses within-example group statistics, independent of batch size.
Which GroupNorm setting corresponds to one group containing all channels?
The guide states that one group reduces the scheme to LayerNorm.
Which GroupNorm setting corresponds to one channel per group?
The guide says one channel per group corresponds to InstanceNorm.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми