Deformálható konvolúciók
A deformálható konvolúciók lehetővé teszik, hogy a neurális hálózat meghajlítsa a mintavételi rácsát, hogy kövesse az objektumok tényleges alakját, ahelyett, hogy egy merev négyzetablakon keresztül kényszerítené őket.
Áttekintés
This makes models far better at handling odd shapes, scale changes, and geometric distortion.
Mély merülés
A normál konvolúció a pixeleket rögzített eltolásokkal veszi mintát – egy rendezett, 3x3-as rács az egyes helyeken. Ez jól működik a textúráknál, de nehézségekbe ütközik, ha a tárgyak meg vannak dőlve, megnyúlva vagy furcsa alakúak. A Dai és munkatársai által a Microsoft Research 2017-ben bevezetett deformálható konvolúciói egy kis tanult eltolást adnak minden egyes mintavételi ponthoz. A hálózat a bemenetet nézi, és 2D eltolódást jósol minden rácspozícióhoz, így a befogadó mező meghajolhat, hogy átöleljen egy ívelt élt, vagy kövesse a ferde végtagot. A deformálható RoI pooling ugyanezt az elvet alkalmazza a régió jellemzőire. A 2-es verzió (2018) pontonkénti modulációs súlyokat adott hozzá, lehetővé téve, hogy a réteg tompítsa vagy felerősítse az egyes mintákat, ami élesítette az objektum-észlelési pontosságot olyan referenciaértékeken, mint a COCO.
Technikai betekintés
Az eltolásokat egy párhuzamosan futó extra konvolúciós réteg állítja elő, amely 2N értéket ad ki egy N-pontú kernelhez (pontonként egy dx, egy dy). Mivel az előrejelzett eltolások töredékesek, a mintavételezett pixelértékek bilineáris interpolációval kerülnek kiszámításra, ami az egész műveletet differenciálhatóvá teszi. Az eltolásokat végponttól végpontig megtanulják a normál visszaterjesztéssel – nincs külön felügyelet, amely megmondaná a hálózatnak, hogy hol keressen. A hozzáadott költség szerény, mivel az eltolási ág a fő jellemzőtérképekhez képest könnyű.
Stratégiai hatás
Sebesség és méretarány
A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
Építési lehetőségek
A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
Csapat és munkafolyamat
A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.
A deformálódó konvolúciók jövője
A deformálódó figyelem a modern észlelés gerincévé vált: A deformálható DETR tanult mintavételezési eltolásokat használ a transzformátorok figyelmének ritkítására és gyorsítására, drámaian lerövidítve a képzési időt az eredeti DETR-hez képest. Várhatóan a deformálható elv továbbterjed a videó, a 3D pontfelhők és a látásnyelvi modellek formájában, ahol az adaptív mintavétel segít kezelni a mozgást, az elzáródást és a szabálytalan geometriát. Ahogy javul a szabálytalan memória-elérés hardveres támogatása, a deformálható operátorok is olcsóbbak lesznek, és szélesebb körben alkalmazhatók az éleszközökön.
Valós megvalósítás
Tárgyérzékelés a COCO-n, ahol a deformálható rétegek növelik a pontosságot hosszúkás vagy elforgatott tárgyakon, például vonatokon és zsiráfokon
Az utcai jelenetek szemantikus szegmentálása, segítve a modelleket az íves sávok és a szabálytalan épületkörvonalak nyomon követésében
Deformálható DETR a végpontok közötti érzékeléshez, tanult eltolások használatával a transzformátor figyelemfelkeltésének hatékonysága érdekében
Orvosi képalkotás, ahol a daganatok és szervek nem merev formájúak, és a rögzített rácsok rosszul rögzítik
Kockázatok és védőkorlátok
A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.
Végrehajtási ütemterv
Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Deformable Convolutions quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Mélységben szétválasztható konvolúciók
Gyakran ismételt kérdések
What is Deformable Convolutions?
A deformálható konvolúciók lehetővé teszik, hogy a neurális hálózat meghajlítsa a mintavételi rácsát, hogy kövesse az objektumok tényleges alakját, ahelyett, hogy egy merev négyzetablakon keresztül kényszerítené őket. Ezáltal a modellek sokkal jobban kezelik a páratlan formákat, a léptékváltozásokat és a geometriai torzulásokat.
Mit ad hozzá egy deformálható konvolúció a standard konvolúcióhoz képest?
A deformálható konvolúciók egy tanult eltolást (dx, dy) jósolnak meg minden mintavételi helyhez, lehetővé téve a rács meggörbülését, hogy illeszkedjen az objektum alakzataihoz.
Hogyan jönnek létre a mintavételezési eltolások egy deformálható konvolúcióban?
Egy párhuzamos konvolúciós ág adja ki az eltolásokat, amelyeket végponttól végpontig visszaszaporítással tanulnak meg.
Mivel az előrejelzett eltolások általában töredékesek, hogyan történik a pixelértékek mintavétele ezeken a helyeken?
A törteltolások bilineáris interpolációt igényelnek, ami a műveletet differenciálhatóvá teszi a betanításhoz.
Mit adott hozzá a Deformable ConvNets v2 (2018) az eredetihez?
A v2 bevezette a modulációt, a mintavételi pontonkénti tanult súlyozást, amely felerősítheti vagy elnyomhatja a hatását, javítva a pontosságot.
Miért hasznosak a deformálható konvolúciók különösen szabálytalan alakú tárgyak esetén?
A mintavételi rács meghajlításával az effektív receptív mező a merev négyzet helyett az objektum geometriájához igazodik.