DalšíDalší průvodce
Sítě prostorových transformátorů
Vizuální AI
Vizuální průvodce AI
Sítě Feature Pyramid Networks (FPN) umožňují detektorům zaznamenat objekty v divoce různých velikostech tím, že levně postaví „pyramidu“ v mnoha měřítcích.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Jsou důvodem, proč moderní detektory najdou na stejném snímku jak malého vzdáleného chodce, tak i obrovský blízký náklaďák.
Objekty na obrázcích se objevují v mnoha měřítcích a jediná mapa prvků je obtížně zvládne všechny. Starší přistupují k budovaným pyramidám obrázků tak, že mnohokrát mění velikost fotografie a provozují síť na každé kopii, což bylo pomalé. FPN, představený Lin et al. v roce 2017 místo toho znovu používá přirozenou pyramidu již uvnitř konvoluční sítě. Páteř, jako je ResNet, vytváří mapy funkcí, které jsou menší a sémantické hlouběji v síti. FPN přidává cestu shora dolů: převzorkuje hluboké, sémanticky bohaté funkce a spojuje je prostřednictvím bočních spojení s mělkými funkcemi s vysokým rozlišením. Výsledkem je sada map funkcí, které jsou všechny sémanticky silné, ale zachovávají jemné prostorové detaily, což dramaticky zlepšuje detekci malých objektů téměř bez dalších nákladů.
Současná detekce malých, vzdálených chodců a velkých blízkých vozidel ve vjemech autonomního auta
Podpora segmentace instancí v Mask R-CNN, kde FPN dodává víceúrovňové funkce do návrhu regionu a maskovacích hlav
Pozorování drobných nádorů vedle velkých orgánů v detekčním potrubí lékařského zobrazování
Hledání objektů různé velikosti na satelitních a leteckých snímcích, od malých lodí po velké budovy
Design FPN shora dolů zplodil mnoho nástupců: PANet přidává cestu zdola nahoru, BiFPN (používaný v EfficientDet) umožňuje naučit se fúzi a obousměrně s váženými připojeními a NAS-FPN automaticky vyhledává fúzní topologii. Transformátorové detektory jako DETR obcházejí explicitní pyramidy, ale centrální fúze zůstává vícerozměrná. Očekávejte, že nápady ve stylu FPN přetrvají uvnitř transformátorů vidění a účinných detektorů na zařízení, stále častěji s naučeným, adaptivním vážením vah spíše než pevnými připojeními.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Sítě Feature Pyramid Networks (FPN) umožňují detektorům zaznamenat objekty v divoce různých velikostech tím, že levně postaví „pyramidu“ v mnoha měřítcích. Jsou důvodem, proč moderní detektory najdou na stejném snímku jak malého vzdáleného chodce, tak i obrovský blízký náklaďák.
FPN vytváří víceúrovňovou reprezentaci prvků, takže detektor dokáže zpracovat objekty od malých po velmi velké v jediném průchodu.
Cesta shora dolů převzorkuje hluboké sémantické rysy a spojuje je s mělčími mapami s vysokým rozlišením, takže každá úroveň je jak detailní, tak sémanticky silná.
Konvoluce 1x1 upraví počet kanálů na mapě laterálních prvků, která se pak po jednotlivých prvcích přidá k prvku 2x převzorkovanému shora dolů.
Po přidání prvků, konvoluce 3x3 redukuje artefakty aliasingu zavedené převzorkováním, čímž se vytvoří čistší pyramidové úrovně.
BiFPN, představený s EfficientDet, dělá fúzi funkcí obousměrnou a učí se váhy pro to, jak silně každý vstup přispívá.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Sítě prostorových transformátorů
Vizuální AI