Залишкові мережі
Залишкові мережі (ResNets) — це глибокі нейронні мережі, які додають «пропуск з’єднань», дозволяючи рівням вивчати невеликі коригування замість повних перетворень.
Огляд
This simple trick made it possible to train networks hundreds of layers deep, sparking a leap in image recognition accuracy.
Глибоке занурення
До ResNets укладання багатьох рівнів парадоксальним чином погіршувало роботу мереж навіть із навчальними даними, проблема називалася деградацією. У 2015 році дослідники Microsoft Каймін Хе та його колеги представили залишковий блок: замість того, щоб просити стек шарів створити вихід H(x) безпосередньо, вони дозволили йому дізнатися залишковий F(x) = H(x) - x, а потім додали вихідний вхідний x назад за допомогою швидкого доступу. Якщо шар непотрібний, він може просто навчитися нічого не робити (F(x) = 0). ResNet-152 переміг у конкурсі ImageNet у 2015 році з похибкою в топ-5 приблизно на 3,6 відсотка, перевищивши оцінки людського рівня, а його архітектура стала основою для виявлення, сегментації та медичного зображення.
Технічне розуміння
З’єднання пропуску перетворює завдання кожного блоку на y = F(x) + x. Під час зворотного поширення градієнт проходить через ярлик ідентичності без змін, тому він не може зникати майже до нуля навіть на сотнях шарів. Це дозволяє тренувати глибокі стеки. Ярлики ідентифікації не додають додаткових параметрів; лише коли вхідний і вихідний розміри відрізняються, мала проекція (згортка 1x1) коригує розміри перед додаванням.
Стратегічний вплив
Швидкість і масштаб
Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
Створіть вибір
Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
Команда та робочий процес
Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Майбутнє залишкових мереж
Залишкові зв’язки тепер майже універсальні: трансформатори, дифузійні моделі та великі мовні моделі використовують їх для стабілізації навчання дуже глибоких стеків. Тривають дослідження таких варіантів, як ResNets перед активацією, згруповані шляхи ResNeXt і поєднання залишкових ідей із навчанням без нормалізації. Очікуйте, що основний принцип пропускання з’єднань збережеться як будівельний блок за замовчуванням, навіть якщо навколишні архітектури відійдуть від чистих звивин до уваги та гібридних дизайнів.
Реалізація в реальному світі
Магістралі класифікації ImageNet (ResNet-50, ResNet-101), які використовуються як попередньо навчені екстрактори функцій для навчання передачі
Виявлення пухлин і уражень на рентгенологічних і патологічних зображеннях за допомогою кодувальників на основі ResNet
Фреймворки виявлення об’єктів і сегментації екземплярів, такі як Faster R-CNN і Mask R-CNN, які використовують магістралі ResNet
Конвеєри сприйняття самостійного керування, які класифікують пішоходів, транспортні засоби та знаки з кадрів камери
Ризики та огорожі
Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Дорожня карта впровадження
Визначте критерії прийнятності для точності, відкликання та вартості помилок.
Тестуйте з даними, які відповідають реальним умовам виробництва.
Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Функція Pyramid Networks
Часті запитання
What is Residual Networks?
Залишкові мережі (ResNets) — це глибокі нейронні мережі, які додають «пропуск з’єднань», дозволяючи рівням вивчати невеликі коригування замість повних перетворень. Цей простий трюк дозволив навчити мережі на сотні шарів, що призвело до стрибка в точності розпізнавання зображень.
Яку проблему конкретно вирішували залишкові з’єднання?
До появи ResNets додавання додаткових шарів призводило до зниження точності навіть даних навчання. Пропуск з’єднань вирішив це, полегшивши оптимізацію шарів.
Що фактично обчислює залишковий блок як свій вихід?
Залишковий блок виводить y = F(x) + x, додаючи вивчений залишок до вхідних даних через з’єднання пропуску.
Чому пропуск з’єднань допомагає градієнтам під час навчання?
Ярлик ідентичності забезпечує прямий шлях для градієнтів у зворотному напрямку без змін, запобігаючи проблемі зникнення градієнта в дуже глибоких стеках.
Приблизно скільки шарів мала переможна модель ResNet 2015 року?
ResNet-152 зі 152 шарами виграв конкурс ImageNet 2015 року, продемонструвавши, що дуже глибокі мережі тепер можна успішно навчати.
Якщо шари залишкового блоку вивчають F(x) = 0, що робить блок?
Коли F(x) = 0, на виході буде просто x, тому блок стає відображенням ідентичності. Це робить додаткові шари нешкідливими, якщо вони не потрібні.