Сети сжатия и возбуждения
Блоки сжатия и возбуждения (SE) позволяют сверточной сети узнать, сколько весить каждому функциональному каналу, перекалибровывая их на основе глобального контекста.
Обзор
Этот дешевый механизм, похожий на внимание, выиграл конкурс ImageNet в 2017 году и стал стандартным строительным блоком CNN.
Глубокое погружение
Блок SE, представленный Ху, Шеном и Суном в 2017 году, добавляет явное внимание канала к CNN. Это работает в два этапа. «Сжатие» использует объединение глобальных средних значений, чтобы свернуть каждую карту объектов (высота x ширина) в одно число, создавая по одному дескриптору для каждого канала, который суммирует его глобальную активацию. «Возбуждение» пропускает этот вектор через два небольших полностью связанных слоя с узким местом (ReLU, затем сигмоид), чтобы получить вес каждого канала от 0 до 1. Эти веса умножают исходные карты признаков, усиливая полезные каналы и подавляя нерелевантные. SENet выиграла конкурс классификации ILSVRC 2017, сократив ошибку топ-5 примерно до 2,25%. Блок добавляет лишь несколько процентов дополнительных параметров и вычислений и встраивается в ResNet, Inception или MobileNet с минимальными изменениями.
Техническая информация
Сжатие создает вектор z длины C, где z_c — среднее пространственное значение канала c. Возбуждение вычисляет s = сигмоид(W2 * ReLU(W1 * z)), где W1 уменьшает размерность на коэффициент уменьшения r (обычно 16), а W2 восстанавливает его, сохраняя небольшие добавленные затраты. Выходные данные представляют собой входную карту объектов, масштабированную по каналам на s. Это форма самоконтроля: на основе глобальной статистики сеть решает, какие каналы важны для этого конкретного ввода.
Стратегическое воздействие
Стоимость и бюджет
Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
Более четкие решения
Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
Контроль качества
Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Будущее сетей сжатия и возбуждения
Блоки SE живут внутри эффективных архитектур: EfficientNet и MobileNetV3 встраивают их в свои строительные блоки. Эта идея положила начало семейству модулей внимания, CBAM добавляет пространственное внимание, ECA-Net заменяет узкое место дешевой одномерной сверткой, и эти легкие приемы перекалибровки теперь используются в обнаружении, сегментации и даже в некоторых гибридах преобразователя зрения. Ожидайте, что внимание к каналу останется дешевым рычагом точности везде, где сохраняются извилины.
Реальная реализация
SENet выиграла конкурс классификации ImageNet ILSVRC 2017, добавив блоки SE в магистраль ResNeXt.
EfficientNet и MobileNetV3 встраивают модули SE в каждый блок для повышения точности на мобильных устройствах.
Детекторы объектов и модели сегментации вставляют блоки SE, чтобы подчеркнуть информативные каналы признаков.
ECA-Net и CBAM расширяют идею SE за счет более дешевой или пространственной перекалибровки каналов.
Риски и ограничения
Оптимизация одного теста может скрыть более широкие недостатки системы.
Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Дорожная карта реализации
Определите целевые показатели задержки, качества и стоимости перед внедрением.
Тестирование при реалистичной нагрузке и условиях данных.
Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Squeeze-and-Excitation Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Капсульные сети
Часто задаваемые вопросы
Что такое сети сжатия и возбуждения?
Блоки сжатия и возбуждения (SE) позволяют сверточной сети узнать, сколько весить каждому функциональному каналу, перекалибровывая их на основе глобального контекста. Этот дешевый механизм, похожий на внимание, выиграл конкурс ImageNet в 2017 году и стал стандартным строительным блоком CNN.
Что делает шаг «сжатия» в блоке SE?
Сжатие применяет глобальное среднее объединение, сжимая каждую карту объектов в один дескриптор для каждого канала.
Что выдает шаг «возбуждения»?
Возбуждение пропускает сжатый вектор через два слоя FC, оканчивающиеся сигмоидой, давая весовые коэффициенты масштабирования для каждого канала.
Как веса возбуждения применяются к исходным картам объектов?
Карта характеристик каждого канала умножается на его изученный вес, усиливая или подавляя этот канал.
Почему для возбуждения используется узкое место с коэффициентом понижения (часто 16)?
Узкое место уменьшается, а затем восстанавливается размер канала, поэтому блок SE стоит всего лишь несколько процентов дороже.
Какой конкурс SENet выиграла в 2017 году?
SENet выиграла конкурс по классификации изображений ILSVRC 2017, увеличив ошибку топ-5 примерно до 2,25%.