Мрежи за притискане и възбуждане
Блоковете Squeeze-and-Excitation (SE) позволяват на конволюционната мрежа да научи колко да претегля всеки канал на функция, като ги калибрира повторно въз основа на глобалния контекст.
Преглед
This cheap attention-like mechanism won the 2017 ImageNet competition and became a standard CNN building block.
Дълбоко гмуркане
Въведен от Ху, Шен и Сун през 2017 г., блокът SE добавя изрично внимание на канала към CNN. Работи се в две стъпки. „Натискането“ използва глобално средно обединяване, за да свие всяка карта на характеристиките (височина x ширина) в едно число, създавайки един дескриптор на канал, който обобщава глобалното му активиране. „Възбуждането“ захранва този вектор през два малки напълно свързани слоя с пречка (ReLU и след това сигмоид), за да се получи тегло на канал между 0 и 1. Тези тегла умножават оригиналните карти на характеристиките, усилвайки полезните канали и заглушавайки неподходящите. SENet спечели класификационното предизвикателство ILSVRC 2017, като намали грешката в топ 5 до около 2,25%. Блокът добавя само няколко процента допълнителни параметри и изчисления и се поставя в ResNet, Inception или MobileNet с минимална промяна.
Техническа информация
Стискането създава вектор z с дължина C, където z_c е пространствената средна стойност на канал c. Възбуждането изчислява s = sigmoid(W2 * ReLU(W1 * z)), където W1 намалява измерението чрез коефициент на редукция r (обикновено 16), а W2 го възстановява, запазвайки добавената цена малка. Резултатът е входната карта на характеристиките, мащабирана по канал с s. Това е форма на самоконтрол: мрежата решава, въз основа на глобални статистики, кои канали имат значение за този конкретен вход.
Стратегическо въздействие
Cost and budget
Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
Clearer decisions
Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
Quality control
По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Бъдещето на мрежите за притискане и възбуждане
SE блоковете живеят в ефективни архитектури: EfficientNet и MobileNetV3 ги вграждат в своите градивни блокове. Идеята заложи семейство от модули за внимание, CBAM добавя пространствено внимание, ECA-Net заменя препятствието с евтина 1D конволюция и тези леки трикове за повторно калибриране сега се появяват при откриване, сегментиране и дори някои хибриди на визуален трансформатор. Очаквайте вниманието на канала да остане евтин лост за точност навсякъде, където продължават изкривяванията.
Внедряване в реалния свят
SENet спечели класификационното предизвикателство ImageNet ILSVRC 2017, като добави SE блокове към гръбнак на ResNeXt
EfficientNet и MobileNetV3 вграждат SE модули във всеки блок за повишаване на точността на мобилни устройства
Детекторите на обекти и моделите за сегментиране вмъкват SE блокове, за да подчертаят каналите за информационни характеристики
ECA-Net и CBAM разширяват идеята за SE с по-евтино или пространствено осъзнато повторно калибриране на канала
Рискове и предпазни огради
Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
Разходите за инфраструктура и поддръжка често се подценяват.
Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Пътна карта за изпълнение
Определете целите за латентност, качество и разходи преди внедряването.
Бенчмарк при реалистични условия на натоварване и данни.
Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Squeeze-and-Excitation Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Капсулни мрежи
Frequently asked questions
What is Squeeze-and-Excitation Networks?
Блоковете Squeeze-and-Excitation (SE) позволяват на конволюционната мрежа да научи колко да претегля всеки канал на функция, като ги калибрира повторно въз основа на глобалния контекст. Този евтин механизъм, подобен на внимание, спечели конкурса ImageNet за 2017 г. и се превърна в стандартен градивен елемент на CNN.
Какво прави стъпката „натискане“ в SE блок?
Натискането прилага глобално средно обединяване, свивайки всяка карта на характеристики в един дескриптор за канал.
Какво извежда стъпката на „възбуждане“?
Възбуждането преминава притиснатия вектор през два FC слоя, завършващи в сигмоида, като се получават тегла за мащабиране на канал.
Как се прилагат теглата на възбуждане към оригиналните карти на характеристиките?
Картата на характеристиките на всеки канал се умножава по неговата научена тежест, усилвайки или потискайки този канал.
Защо възбуждането използва тясно място с коефициент на намаляване (често 16)?
Тесното място се свива, след което възстановява измерението на канала, така че SE блокът струва само няколко процента допълнително.
Какво състезание спечели SENet през 2017 г.?
SENet спечели предизвикателството за класифициране на изображения ILSVRC 2017, като доведе до топ 5 грешки до приблизително 2,25%.