Капсульные сети
Капсульные сети — это нейронная архитектура, которая группирует нейроны в «капсулы», которые выводят векторы, кодирующие как существование объекта, так и его положение (положение, ориентацию, масштаб).
Обзор
They aim to fix a core blindness in standard convolutional networks: losing track of spatial relationships between parts.
Глубокое погружение
Капсульные сети, предложенные Джеффри Хинтоном, Сарой Сабур и Николасом Фросстом в 2017 году, заменяют выход скалярного нейрона вектором. Длина вектора представляет вероятность присутствия объекта (например, глаза или носа), а его ориентация кодирует параметры позы. Капсулы более низкого уровня предсказывают положение капсул более высокого уровня с помощью матриц преобразования, а процесс, называемый динамической маршрутизацией по соглашению, решает, каким прогнозам следует доверять. Когда несколько частей-капсул составляют одно и то же целое, маршрутизация усиливает эту связь. Оригинальный CapsNet достиг хороших результатов в MNIST и был особенно устойчив к перекрывающимся цифрам и аффинным преобразованиям, решая «проблему Пикассо», когда CNN принимают беспорядочные черты лица как допустимое лицо.
Техническая информация
Ключевым механизмом является «сплющенная» нелинейность, которая сжимает короткие векторы к нулю, а длинные векторы к единице, поэтому величина вектора воспринимается как вероятность. Затем динамическая маршрутизация выполняет несколько итераций шага согласования, взвешенного по softmax: каждая нижняя капсула отправляет свой прогноз вверх, а коэффициенты связи увеличиваются для более высоких капсул, выходные данные которых совпадают (посредством скалярного произведения) с этим прогнозом. Это заменяет максимальное объединение, сохраняя точную пространственную информацию, а не отбрасывая ее.
Стратегическое воздействие
Стоимость и бюджет
Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
Более четкие решения
Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
Контроль качества
Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Будущее капсульных сетей
Капсульные сети остаются скорее исследовательским направлением, чем развернутым стандартом, во многом потому, что динамическая маршрутизация требует больших вычислительных затрат и плохо масштабируется для больших изображений, таких как ImageNet. В более поздних работах изучалась EM-маршрутизация (матричные капсулы) и маршрутизация на основе собственного внимания для повышения эффективности. По мере роста интереса к эквивариантности, эффективности выборки и интерпретируемым иерархиям части-целого, идеи капсул продолжают влиять на исследования, включая более позднее предложение Хинтона GLOM, даже несмотря на то, что Трансформаторы доминируют в общепринятом видении.
Реальная реализация
Классификация рукописных цифр в MNIST при восстановлении входных данных из капсульных векторов, показывающая, что параметры позы имеют смысл.
Разделение двух перекрывающихся цифр (задача MultiMNIST) путем сегментирования того, какие пиксели принадлежат какому объекту.
Медицинские визуализирующие исследования с использованием капсул для обнаружения узлов в легких или опухолей головного мозга, где важны пространственные взаимоотношения «частица-целое».
Распознавание объектов с новых точек зрения с меньшим количеством обучающих примеров, используя встроенную в архитектуру эквивалентность точек зрения.
Риски и ограничения
Оптимизация одного теста может скрыть более широкие недостатки системы.
Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Дорожная карта реализации
Определите целевые показатели задержки, качества и стоимости перед внедрением.
Тестирование при реалистичной нагрузке и условиях данных.
Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Capsule Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Сети автомобильных дорог и пропускные соединения
Часто задаваемые вопросы
What is Capsule Networks?
Капсульные сети — это нейронная архитектура, которая группирует нейроны в «капсулы», которые выводят векторы, кодирующие как существование объекта, так и его положение (положение, ориентацию, масштаб). Они стремятся исправить основную слепоту в стандартных сверточных сетях: потерю отслеживания пространственных отношений между частями.
Что представляет собой ДЛИНА выходного вектора капсулы в капсульной сети?
Длина вектора (величина) кодирует вероятность существования объекта, а его ориентация кодирует параметры позы, такие как положение и вращение.
Для решения какой проблемы стандартных CNN были специально разработаны капсульные сети?
CNN с максимальным объединением игнорируют точные пространственные отношения, поэтому лицо с неуместными чертами все равно может получить высокие оценки. Это «проблема Пикассо», которую пытаются решить капсулы.
Как называется алгоритм, который решает, какие капсулы нижнего уровня подключаются к каким капсулам более высокого уровня?
Динамическая маршрутизация по соглашению итеративно укрепляет связи между капсулами, чьи прогнозы согласуются с выходными данными более высокой капсулы.
Кто представил капсульную сеть с динамической маршрутизацией в 2017 году?
Статья «Динамическая маршрутизация между капсулами» 2017 года была написана Сарой Сабур, Николасом Фросстом и Джеффри Хинтоном.
Какова цель функции «сквоша» в капсульной сети?
Нелинейность сжатия сжимает короткие векторы к нулю и ограничивает длинные векторы длиной около единицы, поэтому величину можно считать вероятностью, пока ориентация (поза) сохраняется.