Vizuális MI ÚTMUTATÓ

Deformálható konvolúciók

A deformálható konvolúciók lehetővé teszik, hogy a neurális hálózat meghajlítsa a mintavételi rácsát, hogy kövesse az objektumok tényleges alakját, ahelyett, hogy egy merev négyzetablakon keresztül kényszerítené őket.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A deformálódó konvolúciók jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ezáltal a modellek sokkal jobban kezelik a páratlan formákat, a léptékváltozásokat és a geometriai torzulásokat.

Mély merülés

A normál konvolúció a pixeleket rögzített eltolásokkal veszi mintát – egy rendezett, 3x3-as rács az egyes helyeken. Ez jól működik a textúráknál, de nehézségekbe ütközik, ha a tárgyak meg vannak dőlve, megnyúlva vagy furcsa alakúak. A Dai és munkatársai által a Microsoft Research 2017-ben bevezetett deformálható konvolúciói egy kis tanult eltolást adnak minden egyes mintavételi ponthoz. A hálózat a bemenetet nézi, és 2D eltolódást jósol minden rácspozícióhoz, így a befogadó mező meghajolhat, hogy átöleljen egy ívelt élt, vagy kövesse a ferde végtagot. A deformálható RoI pooling ugyanezt az elvet alkalmazza a régió jellemzőire. A 2-es verzió (2018) pontonkénti modulációs súlyokat adott hozzá, lehetővé téve, hogy a réteg tompítsa vagy felerősítse az egyes mintákat, ami élesítette az objektum-észlelési pontosságot olyan referenciaértékeken, mint a COCO.

Valós megvalósítás

Tárgyérzékelés a COCO-n, ahol a deformálható rétegek növelik a pontosságot hosszúkás vagy elforgatott tárgyakon, például vonatokon és zsiráfokon

Az utcai jelenetek szemantikus szegmentálása, segítve a modelleket az íves sávok és a szabálytalan épületkörvonalak nyomon követésében

Deformálható DETR a végpontok közötti érzékeléshez, tanult eltolások használatával a transzformátor figyelemfelkeltésének hatékonysága érdekében

Orvosi képalkotás, ahol a daganatok és szervek nem merev formájúak, és a rögzített rácsok rosszul rögzítik

A deformálódó konvolúciók jövője

A deformálódó figyelem a modern észlelés gerincévé vált: A deformálható DETR tanult mintavételezési eltolásokat használ a transzformátorok figyelmének ritkítására és gyorsítására, drámaian lerövidítve a képzési időt az eredeti DETR-hez képest. Várhatóan a deformálható elv továbbterjed a videó, a 3D pontfelhők és a látásnyelvi modellek formájában, ahol az adaptív mintavétel segít kezelni a mozgást, az elzáródást és a szabálytalan geometriát. Ahogy javul a szabálytalan memória-elérés hardveres támogatása, a deformálható operátorok is olcsóbbak lesznek, és szélesebb körben alkalmazhatók az éleszközökön.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
  • Építési lehetőségek. A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
  • Csapat és munkafolyamat. A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.

Vigyázz

  • A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
  • A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
  • A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.

Következő lépések

  1. Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
  2. Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
  3. Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
  4. A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Deformable Convolutions quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a deformálódó konvolúció?

A deformálható konvolúciók lehetővé teszik, hogy a neurális hálózat meghajlítsa a mintavételi rácsát, hogy kövesse az objektumok tényleges alakját, ahelyett, hogy egy merev négyzetablakon keresztül kényszerítené őket. Ezáltal a modellek sokkal jobban kezelik a páratlan formákat, a léptékváltozásokat és a geometriai torzulásokat.

Mit ad hozzá egy deformálható konvolúció a standard konvolúcióhoz képest?

A deformálható konvolúciók egy tanult eltolást (dx, dy) jósolnak meg minden mintavételi helyhez, lehetővé téve a rács meggörbülését, hogy illeszkedjen az objektum alakzataihoz.

Hogyan jönnek létre a mintavételezési eltolások egy deformálható konvolúcióban?

Egy párhuzamos konvolúciós ág adja ki az eltolásokat, amelyeket végponttól végpontig visszaszaporítással tanulnak meg.

Mivel az előrejelzett eltolások általában töredékesek, hogyan történik a pixelértékek mintavétele ezeken a helyeken?

A törteltolások bilineáris interpolációt igényelnek, ami a műveletet differenciálhatóvá teszi a betanításhoz.

Mit adott hozzá a Deformable ConvNets v2 (2018) az eredetihez?

A v2 bevezette a modulációt, a mintavételi pontonkénti tanult súlyozást, amely felerősítheti vagy elnyomhatja a hatását, javítva a pontosságot.

Miért hasznosak a deformálható konvolúciók különösen szabálytalan alakú tárgyak esetén?

A mintavételi rács meghajlításával az effektív receptív mező a merev négyzet helyett az objektum geometriájához igazodik.