LegközelebbKövetkező útmutató
Mélységben szétválasztható konvolúciók
Műszaki
Vizuális MI ÚTMUTATÓ
A deformálható konvolúciók lehetővé teszik, hogy a neurális hálózat meghajlítsa a mintavételi rácsát, hogy kövesse az objektumok tényleges alakját, ahelyett, hogy egy merev négyzetablakon keresztül kényszerítené őket.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ezáltal a modellek sokkal jobban kezelik a páratlan formákat, a léptékváltozásokat és a geometriai torzulásokat.
A normál konvolúció a pixeleket rögzített eltolásokkal veszi mintát – egy rendezett, 3x3-as rács az egyes helyeken. Ez jól működik a textúráknál, de nehézségekbe ütközik, ha a tárgyak meg vannak dőlve, megnyúlva vagy furcsa alakúak. A Dai és munkatársai által a Microsoft Research 2017-ben bevezetett deformálható konvolúciói egy kis tanult eltolást adnak minden egyes mintavételi ponthoz. A hálózat a bemenetet nézi, és 2D eltolódást jósol minden rácspozícióhoz, így a befogadó mező meghajolhat, hogy átöleljen egy ívelt élt, vagy kövesse a ferde végtagot. A deformálható RoI pooling ugyanezt az elvet alkalmazza a régió jellemzőire. A 2-es verzió (2018) pontonkénti modulációs súlyokat adott hozzá, lehetővé téve, hogy a réteg tompítsa vagy felerősítse az egyes mintákat, ami élesítette az objektum-észlelési pontosságot olyan referenciaértékeken, mint a COCO.
Tárgyérzékelés a COCO-n, ahol a deformálható rétegek növelik a pontosságot hosszúkás vagy elforgatott tárgyakon, például vonatokon és zsiráfokon
Az utcai jelenetek szemantikus szegmentálása, segítve a modelleket az íves sávok és a szabálytalan épületkörvonalak nyomon követésében
Deformálható DETR a végpontok közötti érzékeléshez, tanult eltolások használatával a transzformátor figyelemfelkeltésének hatékonysága érdekében
Orvosi képalkotás, ahol a daganatok és szervek nem merev formájúak, és a rögzített rácsok rosszul rögzítik
A deformálódó figyelem a modern észlelés gerincévé vált: A deformálható DETR tanult mintavételezési eltolásokat használ a transzformátorok figyelmének ritkítására és gyorsítására, drámaian lerövidítve a képzési időt az eredeti DETR-hez képest. Várhatóan a deformálható elv továbbterjed a videó, a 3D pontfelhők és a látásnyelvi modellek formájában, ahol az adaptív mintavétel segít kezelni a mozgást, az elzáródást és a szabálytalan geometriát. Ahogy javul a szabálytalan memória-elérés hardveres támogatása, a deformálható operátorok is olcsóbbak lesznek, és szélesebb körben alkalmazhatók az éleszközökön.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A deformálható konvolúciók lehetővé teszik, hogy a neurális hálózat meghajlítsa a mintavételi rácsát, hogy kövesse az objektumok tényleges alakját, ahelyett, hogy egy merev négyzetablakon keresztül kényszerítené őket. Ezáltal a modellek sokkal jobban kezelik a páratlan formákat, a léptékváltozásokat és a geometriai torzulásokat.
A deformálható konvolúciók egy tanult eltolást (dx, dy) jósolnak meg minden mintavételi helyhez, lehetővé téve a rács meggörbülését, hogy illeszkedjen az objektum alakzataihoz.
Egy párhuzamos konvolúciós ág adja ki az eltolásokat, amelyeket végponttól végpontig visszaszaporítással tanulnak meg.
A törteltolások bilineáris interpolációt igényelnek, ami a műveletet differenciálhatóvá teszi a betanításhoz.
A v2 bevezette a modulációt, a mintavételi pontonkénti tanult súlyozást, amely felerősítheti vagy elnyomhatja a hatását, javítva a pontosságot.
A mintavételi rács meghajlításával az effektív receptív mező a merev négyzet helyett az objektum geometriájához igazodik.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Mélységben szétválasztható konvolúciók
Műszaki