Функція Pyramid Networks
Мережі піраміди функцій (FPN) дозволяють детекторам виявляти об’єкти надзвичайно різних розмірів, будуючи багатомасштабну «піраміду» функцій за невеликі гроші.
Огляд
They are the reason modern detectors find both a tiny faraway pedestrian and a huge nearby truck in the same image.
Глибоке занурення
Об’єкти на зображеннях відображаються в багатьох масштабах, і одна карта об’єктів важко впоратися з усіма ними. Старіші підходи створювали піраміди зображень, змінюючи розмір фотографії багато разів і запускаючи мережу для кожної копії, що було повільно. FPN, представлений Lin et al. у 2017 році натомість повторно використовує природну піраміду вже всередині згорткової мережі. Такий магістраль, як ResNet, створює карти функцій, які стають меншими та більш семантичними глибше в мережі. FPN додає низхідний шлях: він збільшує глибокі, семантично багаті функції та об’єднує їх через бічні з’єднання з поверхневими функціями високої роздільної здатності. Результатом є набір карт функцій, які є семантично сильними, але зберігають точні просторові деталі, значно покращуючи виявлення малих об’єктів майже без додаткових витрат.
Технічне розуміння
FPN має шлях «знизу вгору» (магістраль) і шлях «зверху вниз». Кожен низхідний рівень підвищується в 2 рази (найближчий сусід) і додається поелементно до згорнутої карти бічних функцій 1x1 із відповідною роздільною здатністю. Потім згортка 3x3 згладжує кожну об’єднану карту, щоб зменшити накладення. Це створює рівні P2-P5 із фіксованою кількістю каналів (часто 256), кожен із яких відповідає за виявлення об’єктів певного діапазону масштабу.
Стратегічний вплив
Швидкість і масштаб
Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
Створіть вибір
Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
Команда та робочий процес
Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Майбутнє мереж піраміди функцій
Низхідний дизайн FPN породив багато наступників: PANet додає шлях знизу вгору, BiFPN (використовується в EfficientDet) робить злиття навчальним і двонаправленим із зваженими з’єднаннями, а NAS-FPN автоматично шукає топологію злиття. Детектори трансформаторів, такі як DETR, обходять очевидні піраміди, але багатомасштабний термоядерний синтез залишається центральним. Очікуйте, що ідеї у стилі FPN збережуться в трансформаторах зору та ефективних детекторах на пристроях, все частіше з навченим, адаптивним зважуванням шкали, а не з фіксованими з’єднаннями.
Реалізація в реальному світі
Одночасне виявлення невеликих віддалених пішоходів і великих транспортних засобів поблизу в системах сприйняття безпілотних автомобілів
Сегментація екземплярів у Mask R-CNN, де FPN передає багатомасштабні функції в пропозицію регіону та заголовки масок
Виявлення крихітних пухлин поруч із великими органами в конвеєрах виявлення медичних зображень
Пошук об’єктів різного розміру на супутникових і аерофотознімках, від маленьких човнів до великих будівель
Ризики та огорожі
Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Дорожня карта впровадження
Визначте критерії прийнятності для точності, відкликання та вартості помилок.
Тестуйте з даними, які відповідають реальним умовам виробництва.
Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Feature Pyramid Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Просторові трансформаторні мережі
Часті запитання
What is Feature Pyramid Networks?
Мережі піраміди функцій (FPN) дозволяють детекторам виявляти об’єкти надзвичайно різних розмірів, будуючи багатомасштабну «піраміду» функцій за недорого. Саме тому сучасні детектори знаходять на одному зображенні і крихітного віддаленого пішохода, і величезну вантажівку поблизу.
Яку основну проблему в першу чергу вирішує функція Feature Pyramid Network?
FPN створює багатомасштабне представлення ознак, щоб детектор міг обробляти об’єкти від крихітних до дуже великих за один прохід.
Яка роль низхідного шляху у FPN?
Шлях «зверху вниз» збільшує глибинні семантичні характеристики та поєднує їх із меншими картами високої роздільної здатності, щоб кожен рівень був детальним і семантично сильним.
Як бічні з’єднання зазвичай поєднуються з функціями підвищення дискретизації зверху вниз?
Згортка 1x1 регулює кількість каналів на карті бічних функцій, яка потім поелементно додається до функції з 2-кратним підвищенням дискретизації зверху вниз.
Чому до кожної об’єднаної карти об’єктів у FPN застосовується згортка 3x3?
Після поелементного додавання згортка 3x3 зменшує артефакти згладжування, введені підвищенням дискретизації, створюючи чистіші рівні піраміди.
Яка пізніша архітектура розширила FPN за допомогою зваженого двонаправленого злиття, яке можна вивчати?
BiFPN, представлений разом з EfficientDet, робить об’єднання функцій двонаправленим і вивчає ваги для того, наскільки сильно впливає кожен вхід.