VolgendeVolgende gids
In de diepte scheidbare windingen
Technisch
Visuele AI-GIDS
Dankzij vervormbare convoluties kan een neuraal netwerk zijn bemonsteringsraster buigen om de werkelijke vorm van objecten te volgen in plaats van het door een stijf vierkant venster te dwingen.
Luister naar deze gidsAI-verteld · ~2 min
Dit maakt modellen veel beter in het omgaan met vreemde vormen, schaalveranderingen en geometrische vervormingen.
Een normale convolutie bemonstert pixels op vaste afstanden: een netjes 3x3 raster gecentreerd op elke locatie. Dat werkt prima voor texturen, maar heeft moeite als objecten gekanteld, uitgerekt of vreemd gevormd zijn. Vervormbare convoluties, geïntroduceerd door Dai en collega's bij Microsoft Research in 2017, voegen een kleine geleerde offset toe aan elk van die bemonsteringspunten. Het netwerk kijkt naar de invoer en voorspelt een 2D-verschuiving voor elke rasterpositie, zodat het receptieve veld kan vervormen om een gebogen rand te omhelzen of een schuine tak te volgen. Vervormbare RoI-pooling past hetzelfde idee toe op regiokenmerken. Versie 2 (2018) voegde modulatiegewichten per punt toe, waardoor de laag elk monster kon dempen of versterken, waardoor de objectdetectienauwkeurigheid op benchmarks zoals COCO werd aangescherpt.
Objectdetectie op COCO, waarbij vervormbare lagen de nauwkeurigheid vergroten op langwerpige of geroteerde objecten zoals treinen en giraffen
Semantische segmentatie van straattaferelen, waardoor modellen gebogen rijstrookmarkeringen en onregelmatige omtrekken van gebouwen kunnen traceren
Vervormbare DETR voor end-to-end detectie, waarbij aangeleerde offsets worden gebruikt om de aandacht van de transformator efficiënt te maken
Medische beeldvorming, waarbij tumoren en organen niet-stijve vormen hebben die vaste rasters slecht opvangen
Vervormbare aandacht is de ruggengraat van moderne detectie geworden: vervormbare DETR maakt gebruik van aangeleerde sampling-offsets om de aandacht van de transformator spaarzaam en snel te maken, waardoor de trainingstijd dramatisch wordt verkort ten opzichte van de originele DETR. Verwacht dat het vervormbare principe zich blijft verspreiden naar video, 3D-puntenwolken en vision-taalmodellen, waarbij adaptieve sampling helpt bij het omgaan met beweging, occlusie en onregelmatige geometrie. Naarmate de hardwareondersteuning voor onregelmatige geheugentoegang verbetert, moeten vervormbare operators ook goedkoper worden en op grotere schaal worden ingezet op edge-apparaten.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Dankzij vervormbare convoluties kan een neuraal netwerk zijn bemonsteringsraster buigen om de werkelijke vorm van objecten te volgen in plaats van het door een stijf vierkant venster te dwingen. Dit maakt modellen veel beter in het omgaan met vreemde vormen, schaalveranderingen en geometrische vervormingen.
Vervormbare convoluties voorspellen een geleerde offset (dx, dy) voor elke bemonsteringslocatie, waardoor het raster kan vervormen om overeen te komen met de objectvormen.
Een parallelle convolutietak voert de offsets uit, die end-to-end worden geleerd via backpropagation.
Fractionele offsets vereisen bilineaire interpolatie, waardoor de werking differentieerbaar blijft voor training.
v2 introduceerde modulatie, een geleerd gewicht per bemonsteringspunt dat de invloed ervan kan versterken of onderdrukken, waardoor de nauwkeurigheid wordt verbeterd.
Door het bemonsteringsrooster te buigen, wordt het effectieve receptieve veld uitgelijnd met de geometrie van het object in plaats van met een stijf vierkant.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
In de diepte scheidbare windingen
Technisch