ДаліНаступний посібник
Мінімізація емпіричного ризику
основи
Технічний КЕРІВНИЦТВО
Мінімізація з урахуванням різкості
Мінімізація з урахуванням різкості (SAM) — це метод оптимізації, який шукає не лише низьку втрату, але низьку втрату в усьому діапазоні ваг — рівний мінімум.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Flatter minima tend to generalize better, so SAM often improves test accuracy and robustness without changing the model architecture.
Глибоке занурення
Стандартне тренування мінімізує втрату в одній точці в просторі ваги, але два рішення з однаковою втратою тренування можуть поводитися дуже по-різному: «різкий» мінімум знаходиться у вузькій долині, де крихітні збурення ваги посилюють втрату, тоді як «плоский» мінімум терпить збурення та зазвичай краще узагальнює невидимі дані. SAM, представлений дослідниками Google у 2020 році, робить це чітким. На кожному кроці він спочатку знаходить найближче збурення ваги (в межах малого радіуса rho), яке максимізує втрати — найгіршого сусіда — потім оновлює вихідні вагові коефіцієнти, щоб зменшити втрати в цій точці збурення. Ця мінімально-максимальна ціль підштовхує оптимізацію до рівномірно низьких регіонів, забезпечуючи помітно краще узагальнення класифікації зображень і не тільки.
Реалізація в реальному світі
Підвищення точності Vision Transformer і ResNet на ImageNet завдяки навчанню з SAM замість звичайного SGD.
Підвищення стійкості до шуму міток, оскільки плоскі мінімуми менш імовірно запам’ятають пошкоджені мітки.
Точне налаштування попередньо навчених мовних моделей за допомогою SAM для кращого узагальнення невеликих низхідних наборів даних.
Використання варіантів ESAM або LookSAM, коли подвоєні витрати на обчислення vanilla SAM занадто дорогі.
Майбутнє мінімізації з урахуванням різкості
SAM породив ряд подальших дій, спрямованих на його найбільшу слабкість, подвоєні обчислення: ефективні варіанти, такі як ESAM, LookSAM і методи, які впливають лише на підмножину ваг або застосовують SAM кожні кілька кроків. Адаптивний SAM (ASAM) змінює параметри радіуса, щоб бути незмінним щодо масштабу. Дослідники продовжують обговорювати, чому саме допомагає рівновартість і як її виміряти, а ідеї щодо чіткості поширюються на тонке налаштування великих мовних моделей і підвищення стійкості до зміни розподілу.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Sharpness-Aware Minimization quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is Sharpness-Aware Minimization?
Мінімізація з урахуванням різкості (SAM) — це метод оптимізації, який шукає не лише низьку втрату, але низьку втрату в усьому діапазоні ваг — рівний мінімум. Більш плоскі мінімуми мають тенденцію до кращого узагальнення, тому SAM часто покращує точність і стійкість тесту без зміни архітектури моделі.
Який мінімум намагається знайти SAM?
SAM націлений на плоскі мінімуми, оскільки втрати, які залишаються низькими за невеликих збурень ваги, мають тенденцію краще узагальнювати невидимі дані.
Скільки проходів вперед-назад вимагає стандартний крок SAM?
SAM обчислює градієнт, щоб знайти найближчу точку в найгіршому випадку, а потім ще один градієнт для оновлення — приблизно вдвічі дорожче, ніж зазвичай.
Чим керує гіперпараметр rho радіуса в SAM?
Rho встановлює, на яку відстань просувається крок «підйому», щоб знайти найгіршого сусіда, визначаючи, наскільки великою плоскою областю шукає SAM.
Який перший із двох кроків SAM на кожній ітерації?
SAM спочатку спотворює вагові коефіцієнти в радіусі rho у напрямку, що максимізує втрати, а потім опускається від вихідної точки, використовуючи обчислений там градієнт.
Чому SAM часто покращує стійкість до позначення шуму?
Запам'ятовування шумних міток зазвичай вимагає чітких, вузьких мінімумів; віддаючи перевагу рівнинним регіонам, SAM протистоїть надмірному оснащенню.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми