Представете пирамидални мрежи
Функционалните пирамидни мрежи (FPN) позволяват на детекторите да забелязват обекти с изключително различни размери, като изграждат евтино многомащабна „пирамида“ от функции.
Преглед
They are the reason modern detectors find both a tiny faraway pedestrian and a huge nearby truck in the same image.
Дълбоко гмуркане
Обектите в изображенията се появяват в много мащаби и една карта на характеристики се бори да се справи с всички тях. По-старите подходи изградиха пирамиди с изображения чрез преоразмеряване на снимката много пъти и стартиране на мрежата на всяко копие, което беше бавно. FPN, въведен от Lin et al. през 2017 г., вместо това използва повторно естествената пирамида, която вече е в конволюционна мрежа. Гръбнак като ResNet създава карти на функции, които стават по-малки и по-семантични по-дълбоко в мрежата. FPN добавя път отгоре надолу: той увеличава дълбоките, семантично богати функции и ги обединява чрез странични връзки с плитки функции с висока разделителна способност. Резултатът е набор от карти на функции, които са семантично силни, но запазват фини пространствени детайли, драматично подобрявайки откриването на малки обекти почти без допълнителни разходи.
Техническа информация
FPN има път отдолу нагоре (гръбнакът) и път отгоре надолу. Всяко ниво отгоре надолу се дискретизира с 2x (най-близкия съсед) и се добавя по елементи към 1x1-конволтирана карта на странични характеристики със съответстваща разделителна способност. След това намотка 3x3 изглажда всяка обединена карта, за да намали псевдонимите. Това създава нива P2-P5 с фиксиран брой канали (често 256), всеки от които е натоварен с откриване на обекти от определен диапазон на мащаба.
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на функционалните пирамидални мрежи
Дизайнът отгоре надолу на FPN създаде много наследници: PANet добавя път отдолу нагоре, BiFPN (използван в EfficientDet) прави синтеза обучаем и двупосочен с претеглени връзки, а NAS-FPN търси топологията на синтез автоматично. Трансформаторни детектори като DETR заобикалят явните пирамиди, но многомащабният синтез остава централен. Очаквайте идеите в стил FPN да продължат да съществуват във визуалните трансформатори и ефективните детектори на устройството, все повече с научено, адаптивно претегляне на мащаба, а не с фиксирани връзки.
Внедряване в реалния свят
Откриване на малки, далечни пешеходци и големи близки превозни средства едновременно в стекове за възприемане на самоуправляващи се автомобили
Захранване на сегментиране на екземпляри в Mask R-CNN, където FPN захранва многомащабни характеристики към предложението за регион и главите на маската
Откриване на малки тумори заедно с големи органи в тръбопроводи за откриване на медицински изображения
Намиране на обекти с различни размери в сателитни и въздушни изображения, от малки лодки до големи сгради
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Feature Pyramid Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Пространствени трансформаторни мрежи
Frequently asked questions
What is Feature Pyramid Networks?
Функционалните пирамидни мрежи (FPN) позволяват на детекторите да забелязват обекти с изключително различни размери, като изграждат евтино многомащабна „пирамида“ от функции. Те са причината съвременните детектори да откриват както малък далечен пешеходец, така и огромен близък камион на едно и също изображение.
Какъв основен проблем решава основно мрежата с пирамида на функции?
FPN изгражда многомащабно представяне на функции, така че детекторът да може да обработва обекти, вариращи от малки до много големи, с едно преминаване.
При FPN каква е ролята на пътя отгоре надолу?
Пътят отгоре надолу увеличава семплирането на дълбоки, семантични характеристики и ги обединява с по-плитки карти с висока разделителна способност, така че всяко ниво е едновременно подробно и семантично силно.
Как обикновено се комбинират страничните връзки с функциите отгоре-надолу с повишена дискретизация?
Конволюцията 1x1 коригира броя на каналите на картата на страничните характеристики, която след това се добавя по елементи към функцията с 2x повишена дискретизация отгоре надолу.
Защо се прилага намотка 3x3 към всяка обединена карта на функции във FPN?
След добавяне по елементи, намотка 3x3 намалява артефактите на псевдонимите, въведени от повишаване на дискретизацията, създавайки по-чисти пирамидални нива.
Коя по-късна архитектура разшири FPN с обучимо, претеглено двупосочно сливане?
BiFPN, въведен с EfficientDet, прави комбинирането на функции двупосочно и научава тежести за това колко силно допринася всеки вход.