Funkce Pyramid Networks
Sítě Feature Pyramid Networks (FPN) umožňují detektorům zaznamenat objekty v divoce různých velikostech tím, že levně postaví „pyramidu“ v mnoha měřítcích.
Přehled
They are the reason modern detectors find both a tiny faraway pedestrian and a huge nearby truck in the same image.
Hluboký ponor
Objekty na obrázcích se objevují v mnoha měřítcích a jediná mapa prvků je obtížně zvládne všechny. Starší přistupují k budovaným pyramidám obrázků tak, že mnohokrát mění velikost fotografie a provozují síť na každé kopii, což bylo pomalé. FPN, představený Lin et al. v roce 2017 místo toho znovu používá přirozenou pyramidu již uvnitř konvoluční sítě. Páteř, jako je ResNet, vytváří mapy funkcí, které jsou menší a sémantické hlouběji v síti. FPN přidává cestu shora dolů: převzorkuje hluboké, sémanticky bohaté funkce a spojuje je prostřednictvím bočních spojení s mělkými funkcemi s vysokým rozlišením. Výsledkem je sada map funkcí, které jsou všechny sémanticky silné, ale zachovávají jemné prostorové detaily, což dramaticky zlepšuje detekci malých objektů téměř bez dalších nákladů.
Technický přehled
FPN má cestu zdola nahoru (páteř) a cestu shora dolů. Každá úroveň shora dolů je převzorkována 2x (nejbližší soused) a přidána po prvcích do 1x1-konvolvované mapy bočních prvků s odpovídajícím rozlišením. Konvoluce 3x3 pak vyhlazuje každou sloučenou mapu, aby se omezilo aliasing. To vytváří úrovně P2-P5 s pevným počtem kanálů (často 256), z nichž každá má za úkol detekovat objekty určitého rozsahu.
Strategický dopad
Rychlost a měřítko
Vizuální AI může automatizovat úkoly inspekce, detekce a označování ve velkém měřítku.
Volby sestavy
Kreativní týmy mohou prototypovat koncepty rychleji s menším počtem ručních revizí.
Tým a pracovní postup
Operace mohou využívat obrazové a video signály, které bylo dříve obtížné zpracovat.
Budoucnost sítí jevových pyramid
Design FPN shora dolů zplodil mnoho nástupců: PANet přidává cestu zdola nahoru, BiFPN (používaný v EfficientDet) umožňuje naučit se fúzi a obousměrně s váženými připojeními a NAS-FPN automaticky vyhledává fúzní topologii. Transformátorové detektory jako DETR obcházejí explicitní pyramidy, ale centrální fúze zůstává vícerozměrná. Očekávejte, že nápady ve stylu FPN přetrvají uvnitř transformátorů vidění a účinných detektorů na zařízení, stále častěji s naučeným, adaptivním vážením vah spíše než pevnými připojeními.
Real-World Implementace
Současná detekce malých, vzdálených chodců a velkých blízkých vozidel ve vjemech autonomního auta
Podpora segmentace instancí v Mask R-CNN, kde FPN dodává víceúrovňové funkce do návrhu regionu a maskovacích hlav
Pozorování drobných nádorů vedle velkých orgánů v detekčním potrubí lékařského zobrazování
Hledání objektů různé velikosti na satelitních a leteckých snímcích, od malých lodí po velké budovy
Rizika a zábradlí
Obrazová práva a souhlas se mohou stát právním rizikem, pokud je původ nejasný.
Výkon modelu se může lišit podle osvětlení, demografických údajů a prostředí.
Falešně pozitivní mohou zůstat bez povšimnutí, pokud nejsou monitorovány prahové hodnoty spolehlivosti.
Plán implementace
Definujte kritéria přijatelnosti pro přesnost, stažení a náklady na chyby.
Testujte s daty, která odpovídají reálným výrobním podmínkám.
Přidejte lidskou kontrolu pro předpovědi s nízkou spolehlivostí nebo velkým dopadem.
Sledujte posun modelu a znovu ověřte po změnách kamery nebo datové sady.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Feature Pyramid Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Sítě prostorových transformátorů
Často kladené otázky
What is Feature Pyramid Networks?
Sítě Feature Pyramid Networks (FPN) umožňují detektorům zaznamenat objekty v divoce různých velikostech tím, že levně postaví „pyramidu“ v mnoha měřítcích. Jsou důvodem, proč moderní detektory najdou na stejném snímku jak malého vzdáleného chodce, tak i obrovský blízký náklaďák.
Jaký hlavní problém síť Feature Pyramid Network primárně řeší?
FPN vytváří víceúrovňovou reprezentaci prvků, takže detektor dokáže zpracovat objekty od malých po velmi velké v jediném průchodu.
Jaká je v FPN úloha cesty shora dolů?
Cesta shora dolů převzorkuje hluboké sémantické rysy a spojuje je s mělčími mapami s vysokým rozlišením, takže každá úroveň je jak detailní, tak sémanticky silná.
Jak jsou boční spojení obvykle kombinována s upsamplovanými funkcemi shora dolů?
Konvoluce 1x1 upraví počet kanálů na mapě laterálních prvků, která se pak po jednotlivých prvcích přidá k prvku 2x převzorkovanému shora dolů.
Proč se na každou sloučenou mapu funkcí v FPN aplikuje konvoluce 3x3?
Po přidání prvků, konvoluce 3x3 redukuje artefakty aliasingu zavedené převzorkováním, čímž se vytvoří čistší pyramidové úrovně.
Která pozdější architektura rozšířila FPN o naučitelnou, váženou obousměrnou fúzi?
BiFPN, představený s EfficientDet, dělá fúzi funkcí obousměrnou a učí se váhy pro to, jak silně každý vstup přispívá.