DalšíDalší průvodce
Hloubkově oddělitelné konvoluce
Technický
Vizuální průvodce AI
Deformovatelné konvoluce umožňují neuronové síti ohýbat svou vzorkovací mřížku tak, aby sledovala skutečný tvar objektů, místo aby je tlačila skrz tuhé čtvercové okno.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Díky tomu modely mnohem lépe zvládají zvláštní tvary, změny měřítka a geometrické zkreslení.
Normální konvoluce vzorkuje pixely s pevnými posuny – úhledná mřížka 3x3 vycentrovaná na každém místě. To funguje dobře pro textury, ale problémy, když jsou objekty nakloněny, nataženy nebo podivně tvarovány. Deformovatelné konvoluce, které představil Dai a kolegové z Microsoft Research v roce 2017, přidávají ke každému z těchto vzorkovacích bodů malý naučený offset. Síť se dívá na vstup a předpovídá 2D posun pro každou pozici mřížky, takže přijímací pole se může deformovat a obejmout zakřivenou hranu nebo sledovat šikmou končetinu. Deformovatelné sdružování návratnosti investic aplikuje stejnou myšlenku na prvky regionu. Verze 2 (2018) přidala modulační váhy na bod a umožnila vrstvě ztlumit nebo zesílit každý vzorek, což zvýšilo přesnost detekce objektů na benchmarcích, jako je COCO.
Detekce objektů na COCO, kde deformovatelné vrstvy zvyšují přesnost na protáhlých nebo otočených objektech, jako jsou vlaky a žirafy
Sémantická segmentace pouličních scén, pomáhá modelům sledovat zakřivené pruhy a nepravidelné obrysy budov
Deformovatelný DETR pro end-to-end detekci, využívající naučené offsety, aby byla pozornost transformátoru efektivní
Lékařské zobrazování, kde mají nádory a orgány netuhé tvary, které pevné mřížky špatně zachycují
Deformovatelná pozornost se stala páteří moderní detekce: Deformovatelná DETR používá naučené odchylky vzorkování, aby pozornost transformátoru byla řídká a rychlá, čímž se oproti původnímu DETR dramaticky zkracuje doba školení. Očekávejte, že se deformovatelný princip bude dále šířit do videa, 3D mračen bodů a modelů vizuálního jazyka, kde adaptivní vzorkování pomáhá zvládat pohyb, okluzi a nepravidelnou geometrii. S tím, jak se zlepšuje hardwarová podpora pro nepravidelný přístup k paměti, by se deformovatelní operátoři měli také zlevnit a měli by být více nasazováni na okrajová zařízení.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Deformovatelné konvoluce umožňují neuronové síti ohýbat svou vzorkovací mřížku tak, aby sledovala skutečný tvar objektů, místo aby je tlačila skrz tuhé čtvercové okno. Díky tomu modely mnohem lépe zvládají zvláštní tvary, změny měřítka a geometrické zkreslení.
Deformovatelné konvoluce předpovídají naučený offset (dx, dy) pro každé vzorkovací místo a umožňují, aby se mřížka deformovala, aby odpovídala tvarům objektu.
Paralelní konvoluční větev vydává offsety, které jsou učeny end-to-end prostřednictvím zpětného šíření.
Zlomkové offsety vyžadují bilineární interpolaci, která udržuje operaci rozlišitelnou pro trénování.
v2 zavedla modulaci, naučenou váhu na vzorkovací bod, která může zesílit nebo potlačit jeho vliv a zlepšit přesnost.
Ohnutím vzorkovací mřížky se efektivní přijímací pole zarovná s geometrií objektu namísto pevného čtverce.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Hloubkově oddělitelné konvoluce
Technický