LegközelebbKövetkező útmutató
DETR transzformátor érzékelés
Vizuális AI
Vizuális MI ÚTMUTATÓ
A térbeli transzformátorhálózatok (Stial Transformer Networks, STN-ek) olyan tanulható modulok, amelyek lehetővé teszik a neurális hálózatok számára, hogy aktívan torzítsák, elforgatják, levágják vagy átméretezzék a bemenetét, hogy a fontos dolgokra összpontosítsanak.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
They give CNNs a built-in sense of spatial attention and invariance.
A szabványos konvolúciós hálózatok csak gyengén invariánsak a pozícióban, léptékben és elforgatásban bekövetkezett változásokra, egy kis tolerancia érdekében az összevonásra támaszkodnak. Spatial Transformer Networks, Jaderberg et al. 2015-ben javítsa ki ezt egy differenciálható modul beillesztésével, amely explicit geometriai transzformációt hajt végre a jellemzőtérképeken. A modul három részből áll: egy lokalizációs hálózatból, amely előrejelzi a transzformációs paramétereket, egy grid generátorból, amely ezekből a paraméterekből mintavételi rácsot épít fel, és egy mintavevőből, amely interpolálja a bemenetet a rácspontokon. Mivel minden lépés differenciálható, az egész transzformátort a végétől a végéig visszaszaporítással, extra felügyelet nélkül betanítják. A hálózat megtanulja például kiegyenesíteni a megdöntött számjegyeket vagy nagyítani a megfelelő régiót, növelve a pontosságot és a robusztusságot.
Az ívelt vagy elforgatott szöveg kiegyenesítése és igazítása a jelenet-szöveg OCR rendszerekben történő felismerés előtt
Nagyítás megkülönböztető régiókra (például madár csőrére vagy szárnyára) a finomszemcsés képosztályozás érdekében
Az arcpóz és az igazítás normalizálása az arcfelismerő folyamatok előfeldolgozási lépéseként
Torzítások kijavítása és beolvasások igazítása az orvosi képregisztrációban
Az STN-ek befolyásolták azt, hogy a hálózatok hogyan kezelik a geometriát és a figyelmet, deformálható konvolúciókba és tanult vetemedési modulokba táplálva. Míg manapság az önfigyelő transzformátorok dominálnak, az STN-stílusú, differenciálható mintavételezés megmarad az explicit geometriai igazítást igénylő feladatoknál: szövegfelismerés, finomszemcsés osztályozás és póznormalizálás. A differenciálható vetemedés továbbra is megjelenik a 3D-s látásban, a neurális renderelésben és az orvosi képregisztrációban, gyakran a figyelem kíséretében, nem pedig helyettesítve.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A térbeli transzformátorhálózatok (Stial Transformer Networks, STN-ek) olyan tanulható modulok, amelyek lehetővé teszik a neurális hálózatok számára, hogy aktívan torzítsák, elforgatják, levágják vagy átméretezzék a bemenetét, hogy a fontos dolgokra összpontosítsanak. A CNN-ek számára beépített térbeli figyelmet és változatlanságot biztosítanak.
Az STN-ek egy tanulható modult illesztenek be, amely lefordíthatja, elforgathatja, méretezheti vagy vetemíti a jellemzőtérképeket, hogy a releváns tartalomra összpontosítson.
Az STN egy lokalizációs hálózatból (paraméterek előrejelzése), egy rácsgenerátorból (mintavételezési koordinátákat épít) és egy mintavevőből (interpolálja a bemenetet) áll.
A mintavevőben a bilineáris interpoláció differenciálható, így a gradiensek a rácsgenerátoron keresztül áramlanak vissza a lokalizációs hálózatba, lehetővé téve a végpontok közötti képzést.
Az affin transzformációk esetén a lokalizációs hálózat hat értéket jósol meg, amelyek 2x3-as mátrixkódoló transzláció, lépték, forgatás és nyírás formájában vannak elrendezve.
A CNN-ek csak szerény térbeli invarianciát érnek el a pooling révén; Az STN-ek egy explicit, tanulható módszert adnak a pozíció, a lépték és az elforgatás kezelésére.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
DETR transzformátor érzékelés
Vizuális AI