Капсульні мережі
Капсульні мережі — це нейронна архітектура, яка групує нейрони в «капсули», які виводять вектори, що кодують наявність об’єкта та його позицію (положення, орієнтація, масштаб).
Огляд
They aim to fix a core blindness in standard convolutional networks: losing track of spatial relationships between parts.
Глибоке занурення
Запропоновані Джеффрі Хінтоном, Сарою Сабур і Ніколасом Фросстом у 2017 році, капсульні мережі замінюють скалярний вихід нейрона на вектор. Довжина вектора представляє ймовірність того, що сутність (наприклад, око або ніс) присутня, а його орієнтація кодує параметри пози. Капсули нижчого рівня передбачають позицію капсул вищого рівня за допомогою матриць перетворення, а процес, званий динамічною маршрутизацією за угодою, вирішує, яким прогнозам довіряти. Коли кілька часткових капсул об’єднуються в одне ціле, маршрут зміцнює цей зв’язок. Оригінальний CapsNet досяг значних результатів на MNIST і був помітно стійким до цифр, що накладаються, і афінних перетворень, вирішуючи «проблему Пікассо», коли CNN приймають переплутані риси обличчя як дійсне обличчя.
Технічне розуміння
Ключовим механізмом є нелінійність «сквош», яка звужує короткі вектори до нуля, а довгі — до довжини одиниці, тому векторна величина читається як ймовірність. Динамічна маршрутизація потім запускає кілька ітерацій кроку узгодження з softmax: кожна нижча капсула надсилає свій прогноз вгору, а коефіцієнти зв’язку збільшуються для вищих капсул, вихід яких узгоджується (через скалярний добуток) із цим прогнозом. Це замінює максимальне об’єднання, зберігаючи точну просторову інформацію, а не відкидаючи її.
Стратегічний вплив
Вартість і бюджет
Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
Чіткіші рішення
Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
Контроль якості
Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Майбутнє капсульних мереж
Капсульні мережі залишаються більше напрямком досліджень, ніж розгорнутим стандартом, здебільшого через те, що динамічна маршрутизація є дорогою з точки зору обчислень і погано масштабується для великих зображень, таких як ImageNet. Пізніша робота досліджувала EM маршрутизацію (Matrix Capsules) і маршрутизацію на основі самоуваги для підвищення ефективності. Оскільки інтерес до еквіваріантності, ефективності вибірки та інтерпретованих ієрархій частково-цілого зростає, ідеї капсул продовжують впливати на дослідження, включаючи пізнішу пропозицію Хінтона GLOM, навіть якщо Трансформери домінують у загальному баченні.
Реалізація в реальному світі
Класифікація рукописних цифр на MNIST під час реконструкції вхідних даних із векторів капсули, показуючи параметри пози, має сенс.
Розділення двох цифр, що перекриваються (завдання MultiMNIST) шляхом сегментації пікселів, які належать якій сутності.
Дослідження медичної візуалізації з використанням капсул для виявлення вузликів у легенях або пухлин головного мозку, де мають значення просторові співвідношення частково-цілого.
Розпізнавання об’єктів з нових точок зору з меншою кількістю навчальних прикладів, використовуючи вбудовану в архітектуру еквіваріантність точок огляду.
Ризики та огорожі
Оптимізація одного тесту може приховати ширші слабкі сторони системи.
Витрати на інфраструктуру та обслуговування часто недооцінюються.
Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Дорожня карта впровадження
Визначте цільові показники затримки, якості та вартості перед впровадженням.
Тест за реалістичних умов навантаження та даних.
Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Capsule Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Мережі автомобільних доріг і пропускні з’єднання
Часті запитання
What is Capsule Networks?
Капсульні мережі — це нейронна архітектура, яка групує нейрони в «капсули», які виводять вектори, що кодують наявність об’єкта та його позицію (положення, орієнтація, масштаб). Вони прагнуть виправити основну сліпоту в стандартних згорткових мережах: втрату відстеження просторових відносин між частинами.
Що означає ДОВЖИНА вихідного вектора капсули в капсульній мережі?
Довжина (величина) вектора кодує ймовірність існування об’єкта, тоді як його орієнтація кодує такі параметри пози, як положення та обертання.
Для вирішення якої проблеми зі стандартними CNN були розроблені капсульні мережі?
CNN із максимальним об’єднанням відкидають точні просторові зв’язки, тому обличчя з неправильними рисами все ще може отримати високу оцінку. Це «проблема Пікассо», яку намагаються вирішити капсули.
Як називається алгоритм, який визначає, які капсули нижчого рівня підключаються до яких капсул вищого рівня?
Динамічна маршрутизація за погодженням ітеративно зміцнює зв’язки між капсулами, чиї прогнози узгоджуються з вищим виходом капсули.
Хто представив капсульну мережу з динамічною маршрутизацією в 2017 році?
Стаття 2017 року «Динамічний маршрут між капсулами» була написана Сарою Сабур, Ніколасом Фросстом і Джеффрі Гінтоном.
Яка мета функції «сквош» у капсульній мережі?
Сквош-нелінійність скорочує короткі вектори до нуля та обмежує довгі вектори близько довжини одиниці, тому величину можна прочитати як ймовірність, у той час як орієнтація (поза) зберігається.