Piramishálózatok szolgáltatás
A Feature Pyramid Networks (FPN) lehetővé teszi a detektorok számára, hogy vadul különböző méretű objektumokat észleljenek azáltal, hogy olcsón építenek többléptékű „piramist” a szolgáltatásokból.
Áttekintés
They are the reason modern detectors find both a tiny faraway pedestrian and a huge nearby truck in the same image.
Mély merülés
A képeken lévő objektumok sok léptékben jelennek meg, és egyetlen jellemző térkép nehezen tudja kezelni mindegyiket. A régebbi megközelítések képpiramisokat építettek úgy, hogy sokszor átméretezték a fotót, és minden példányon futtatták a hálózatot, ami lassú volt. FPN, amelyet Lin és munkatársai vezettek be. 2017-ben ehelyett a természetes piramist már egy konvolúciós hálózaton belül újra felhasználja. Az olyan gerinchálózat, mint a ResNet, olyan jellemzőtérképeket állít elő, amelyek kisebbek és szemantikusabbak a hálózat mélyén. Az FPN felülről lefelé haladó útvonalat ad hozzá: felmintázza a mély, szemantikailag gazdag jellemzőket, és oldalirányú kapcsolatokon keresztül egyesíti őket sekély, nagy felbontású jellemzőkkel. Az eredmény olyan jellemzőtérképek sorozata, amelyek szemantikailag erősek, de megőrzik a finom térbeli részleteket, drámaian javítva a kis objektumok észlelését szinte többletköltség nélkül.
Technikai betekintés
Az FPN-nek van egy alulról felfelé irányuló útvonala (a gerinchálózat) és egy felülről lefelé irányuló útvonala. Minden felülről lefelé irányuló szint 2x-szeres mintavételezéssel (legközelebbi szomszéd) történik, és elemenként hozzáadódik egy 1x1-es konvolúciós oldalsó jellemzőtérképhez, amelynek felbontása megfelelő. A 3x3-as konvolúció ezután minden egyesített térképet kisimít az aliasing csökkentése érdekében. Ez P2-P5 szinteket hoz létre fix csatornaszámmal (gyakran 256), amelyek mindegyike egy adott skálatartományba tartozó objektumok észlelésével foglalkozik.
Stratégiai hatás
Sebesség és méretarány
A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
Építési lehetőségek
A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
Csapat és munkafolyamat
A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.
A jellemzőpiramishálózatok jövője
Az FPN felülről lefelé irányuló kialakítása számos utódot szült: a PANet alulról felfelé haladó útvonalat ad hozzá, a BiFPN (az EfficientDetben használatos) a fúziót tanulhatóvá és kétirányúvá teszi súlyozott kapcsolatokkal, a NAS-FPN pedig automatikusan megkeresi a fúziós topológiát. A transzformátordetektorok, mint a DETR, explicit piramisokat léptetnek, de a többléptékű fúzió továbbra is központi szerepet játszik. Várható, hogy az FPN-stílusú ötletek megmaradnak a látótranszformátorokon és a hatékony eszközön lévő detektorokon belül, egyre inkább tanult, adaptív skálasúlyozással, nem pedig rögzített csatlakozásokkal.
Valós megvalósítás
Kis, távoli gyalogosok és nagy közeli járművek egyidejű észlelése az önvezető autók érzékelésénél
Példányszegmentálás az R-CNN maszkban, ahol az FPN többléptékű jellemzőket táplál a régiójavaslathoz és a maszkfejekhez
Apró daganatok észlelése nagy szervek mellett az orvosi képalkotó észlelési csővezetékekben
Változó méretű objektumok megtalálása műhold- és légifelvételeken, a kis csónakoktól a nagy épületekig
Kockázatok és védőkorlátok
A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.
Végrehajtási ütemterv
Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Feature Pyramid Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Térbeli transzformátor hálózatok
Gyakran ismételt kérdések
What is Feature Pyramid Networks?
A Feature Pyramid Networks (FPN) lehetővé teszi a detektorok számára, hogy vadul különböző méretű objektumokat észleljenek azáltal, hogy olcsón építenek többléptékű „piramist” a szolgáltatásokból. Ez az oka annak, hogy a modern detektorok egy apró távoli gyalogost és egy hatalmas közeli teherautót is találnak ugyanazon a képen.
Milyen alapvető problémát old meg elsősorban a Feature Pyramid Network?
Az FPN többléptékű jellemzőábrázolást hoz létre, így az érzékelő egyetlen lépésben képes kezelni az aprótól a nagyon nagyig terjedő objektumokat.
Mi a szerepe az FPN-ben a felülről lefelé irányuló útvonalnak?
A felülről lefelé haladó útvonal mély, szemantikai jellemzőket vesz fel, és egyesíti azokat sekélyebb, nagy felbontású térképekkel, így minden szint részletes és szemantikailag erős.
Hogyan kombinálják az oldalsó csatlakozásokat a felülről lefelé mintavételezett jellemzőkkel?
Az 1x1-es konvolúció beállítja az oldalsó jellemzőtérkép csatornaszámát, amely aztán elemenként hozzáadódik a 2x-es mintavételezésű felülről lefelé irányuló jellemzőhöz.
Miért alkalmaznak 3x3-as konvolúciót az FPN-ben minden egyesített tereptérképre?
Az elemenkénti hozzáadást követően egy 3x3-as konvolúció csökkenti az újramintavételezéssel bevezetett aliasing műtermékeket, tisztább piramisszinteket eredményezve.
Melyik későbbi architektúra bővítette ki az FPN-t tanulható, súlyozott kétirányú fúzióval?
Az EfficientDet-tel bevezetett BiFPN kétirányúvá teszi a funkciófúziót, és megtanulja az egyes bemenetek hozzájárulásának súlyozását.