Vizuális MI ÚTMUTATÓ

Térbeli transzformátor hálózatok

A térbeli transzformátorhálózatok (Stial Transformer Networks, STN-ek) olyan tanulható modulok, amelyek lehetővé teszik a neurális hálózatok számára, hogy aktívan torzítsák, elforgatják, levágják vagy átméretezzék a bemenetét, hogy a fontos dolgokra összpontosítsanak.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A térbeli transzformátor hálózatok jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

They give CNNs a built-in sense of spatial attention and invariance.

Mély merülés

A szabványos konvolúciós hálózatok csak gyengén invariánsak a pozícióban, léptékben és elforgatásban bekövetkezett változásokra, egy kis tolerancia érdekében az összevonásra támaszkodnak. Spatial Transformer Networks, Jaderberg et al. 2015-ben javítsa ki ezt egy differenciálható modul beillesztésével, amely explicit geometriai transzformációt hajt végre a jellemzőtérképeken. A modul három részből áll: egy lokalizációs hálózatból, amely előrejelzi a transzformációs paramétereket, egy grid generátorból, amely ezekből a paraméterekből mintavételi rácsot épít fel, és egy mintavevőből, amely interpolálja a bemenetet a rácspontokon. Mivel minden lépés differenciálható, az egész transzformátort a végétől a végéig visszaszaporítással, extra felügyelet nélkül betanítják. A hálózat megtanulja például kiegyenesíteni a megdöntött számjegyeket vagy nagyítani a megfelelő régiót, növelve a pontosságot és a robusztusságot.

Valós megvalósítás

Az ívelt vagy elforgatott szöveg kiegyenesítése és igazítása a jelenet-szöveg OCR rendszerekben történő felismerés előtt

Nagyítás megkülönböztető régiókra (például madár csőrére vagy szárnyára) a finomszemcsés képosztályozás érdekében

Az arcpóz és az igazítás normalizálása az arcfelismerő folyamatok előfeldolgozási lépéseként

Torzítások kijavítása és beolvasások igazítása az orvosi képregisztrációban

A térbeli transzformátor hálózatok jövője

Az STN-ek befolyásolták azt, hogy a hálózatok hogyan kezelik a geometriát és a figyelmet, deformálható konvolúciókba és tanult vetemedési modulokba táplálva. Míg manapság az önfigyelő transzformátorok dominálnak, az STN-stílusú, differenciálható mintavételezés megmarad az explicit geometriai igazítást igénylő feladatoknál: szövegfelismerés, finomszemcsés osztályozás és póznormalizálás. A differenciálható vetemedés továbbra is megjelenik a 3D-s látásban, a neurális renderelésben és az orvosi képregisztrációban, gyakran a figyelem kíséretében, nem pedig helyettesítve.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
  • Építési lehetőségek. A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
  • Csapat és munkafolyamat. A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.

Vigyázz

  • A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
  • A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
  • A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.

Következő lépések

  1. Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
  2. Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
  3. Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
  4. A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Spatial Transformer Networks quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is Spatial Transformer Networks?

A térbeli transzformátorhálózatok (Stial Transformer Networks, STN-ek) olyan tanulható modulok, amelyek lehetővé teszik a neurális hálózatok számára, hogy aktívan torzítsák, elforgatják, levágják vagy átméretezzék a bemenetét, hogy a fontos dolgokra összpontosítsanak. A CNN-ek számára beépített térbeli figyelmet és változatlanságot biztosítanak.

Milyen képességeket ad a térbeli transzformátor hálózat a neurális hálózathoz?

Az STN-ek egy tanulható modult illesztenek be, amely lefordíthatja, elforgathatja, méretezheti vagy vetemíti a jellemzőtérképeket, hogy a releváns tartalomra összpontosítson.

Melyik három komponens alkotja a térbeli transzformátor modult?

Az STN egy lokalizációs hálózatból (paraméterek előrejelzése), egy rácsgenerátorból (mintavételezési koordinátákat épít) és egy mintavevőből (interpolálja a bemenetet) áll.

Miért tanítható egy térbeli transzformátor hálózat közönséges visszaszaporítással?

A mintavevőben a bilineáris interpoláció differenciálható, így a gradiensek a rácsgenerátoron keresztül áramlanak vissza a lokalizációs hálózatba, lehetővé téve a végpontok közötti képzést.

Mit ad ki a lokalizációs hálózat általában egy affin transzformációhoz?

Az affin transzformációk esetén a lokalizációs hálózat hat értéket jósol meg, amelyek 2x3-as mátrixkódoló transzláció, lépték, forgatás és nyírás formájában vannak elrendezve.

Miért csak gyengén invariánsak a standard CNN-ek a térbeli változásokkal szemben, amelyek motiválják az STN-eket?

A CNN-ek csak szerény térbeli invarianciát érnek el a pooling révén; Az STN-ek egy explicit, tanulható módszert adnak a pozíció, a lépték és az elforgatás kezelésére.