DalšíDalší průvodce
Detekce transformátoru DETR
Vizuální AI
Vizuální průvodce AI
Sítě prostorových transformátorů (STN) jsou moduly, které lze naučit, umožňují neuronové síti aktivně deformovat, otáčet, ořezávat nebo měnit měřítko vstupu, aby se soustředila na to, na čem záleží.
Poslechněte si tento návodAI-vyprávěný · ~2 min
They give CNNs a built-in sense of spatial attention and invariance.
Standardní konvoluční sítě jsou pouze slabě invariantní vůči změnám polohy, měřítka a rotace a spoléhají na sdružování pro malou toleranci. Prostorové transformátorové sítě, představené Jaderbergem a kol. v roce 2015 to napravte vložením diferencovatelného modulu, který provádí explicitní geometrickou transformaci na mapách prvků. Modul má tři části: lokalizační síť, která předpovídá transformační parametry, generátor mřížky, který z těchto parametrů staví vzorkovací mřížku, a vzorkovač, který interpoluje vstup v bodech mřížky. Protože každý krok je diferencovatelný, je celý transformátor trénován end-to-end pomocí zpětného šíření bez dalšího dohledu. Síť se například učí narovnávat nakloněná čísla nebo přibližovat příslušnou oblast, čímž zvyšuje přesnost a robustnost.
Vyrovnání a zarovnání zakřiveného nebo otočeného textu před rozpoznáním v systémech OCR scénického textu
Přiblížení do rozlišovacích oblastí (jako ptačí zob nebo křídlo) pro jemnozrnnou klasifikaci snímků
Normalizace pozice a zarovnání obličeje jako krok předběžného zpracování v kanálech pro rozpoznávání obličejů
Oprava zkreslení a zarovnání skenů v registraci lékařského snímku
STN ovlivňovaly, jak sítě zacházejí s geometrií a pozorností, a vstupovaly do deformovatelných konvolucí a modulů naučeného deformování. Zatímco transformátory s vlastní pozorností nyní dominují, diferenciovatelné vzorkování ve stylu STN přetrvává v úkolech, které vyžadují explicitní geometrické zarovnání: rozpoznávání textu, jemná klasifikace a normalizace pozice. Očekávejte, že se ve 3D vidění, neurálním vykreslování a registraci lékařských snímků bude nadále objevovat rozlišitelné pokřivení, které je často kombinováno s pozorností a nikoli ji nahrazeno.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Sítě prostorových transformátorů (STN) jsou moduly, které lze naučit, umožňují neuronové síti aktivně deformovat, otáčet, ořezávat nebo měnit měřítko vstupu, aby se soustředila na to, na čem záleží. Dávají CNN vestavěný pocit prostorové pozornosti a neměnnosti.
STN vkládají naučitelný modul, který dokáže překládat, otáčet, měnit měřítko nebo deformovat mapy prvků a soustředit se na relevantní obsah.
STN se skládá z lokalizační sítě (předpovídá parametry), generátoru sítě (buduje vzorkovací souřadnice) a vzorkovače (interpoluje vstup).
Bilineární interpolace ve vzorkovači je diferencovatelná, takže gradienty proudí zpět přes generátor mřížky do lokalizační sítě, což umožňuje trénování end-to-end.
Pro afinní transformace lokalizační síť předpovídá šest hodnot uspořádaných jako matice 2x3 kódující translaci, měřítko, rotaci a smyk.
CNN dosahují pouze mírné prostorové invariance prostřednictvím sdružování; STN přidávají explicitní, naučitelný způsob, jak zvládnout polohu, měřítko a rotaci.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Detekce transformátoru DETR
Vizuální AI