Mai departeUrmătorul ghid
Detectarea transformatorului DETR
Inteligența vizuală AI
GHID AI vizual
Rețele de transformatoare spațiale
Rețelele de transformare spațială (STN) sunt module care pot fi învățate care permit unei rețele neuronale să deformeze, să se rotească, să decupeze sau să redimensioneze în mod activ intrarea pentru a se concentra pe ceea ce contează.
Ascultă acest ghidNarativ AI · ~2 min
Pe această pagină2 minute de lectură
Prezentare generală
Ele oferă CNN-urilor un sentiment încorporat de atenție și invarianță spațială.
Scufundare în profunzime
Rețelele convoluționale standard sunt doar puțin invariante la schimbările de poziție, scară și rotație, bazându-se pe pooling pentru o mică toleranță. Spatial Transformer Networks, introdus de Jaderberg et al. în 2015, remediați acest lucru inserând un modul diferențiabil care efectuează o transformare geometrică explicită pe hărțile caracteristicilor. Modulul are trei părți: o rețea de localizare care prezice parametrii de transformare, un generator de grilă care construiește o grilă de eșantionare din acești parametri și un eșantionare care interpolează intrarea în punctele grilei. Deoarece fiecare pas este diferențiabil, întregul transformator este antrenat cap la cap prin propagare inversă, fără supraveghere suplimentară. Rețeaua învață, de exemplu, să îndrepte cifrele înclinate sau să măriți regiunea relevantă, sporind precizia și robustețea.
Implementare în lumea reală
Îndreptarea și alinierea textului curbat sau rotit înainte de recunoaștere în sistemele OCR scenă-text
Mărirea în regiuni discriminatorii (cum ar fi ciocul sau aripa unei păsări) pentru clasificarea imaginilor cu granulație fină
Normalizarea poziției și alinierii feței ca pas de preprocesare în conductele de recunoaștere a feței
Corectarea distorsiunilor și alinierea scanărilor în înregistrarea imaginilor medicale
Viitorul rețelelor de transformatoare spațiale
STN-urile au influențat modul în care rețelele gestionează geometria și atenția, alimentând convoluțiile deformabile și modulele de deformare învățate. În timp ce transformatoarele de auto-atenție domină acum, eșantionarea diferențiabilă în stil STN persistă în sarcinile care necesită o aliniere geometrică explicită: recunoașterea textului, clasificarea cu granulație fină și normalizarea poziției. Așteptați-vă ca deformarea diferențială să continue să apară în viziunea 3D, redarea neuronală și înregistrarea imaginilor medicale, adesea combinată cu atenție, mai degrabă decât înlocuită de aceasta.
Punând-o în practică
De ce contează
- Viteză și scară. Visual AI poate automatiza sarcinile de inspecție, detectare și etichetare la scară.
- Alegeri de construcție. Echipele creative pot crea prototipuri mai rapid cu mai puține revizuiri manuale.
- Echipa și fluxul de lucru. Operațiunile pot utiliza semnale de imagine și video care anterior erau greu de procesat.
Atenție la
- Drepturile de imagine și consimțământul pot deveni riscuri legale dacă proveniența este neclară.
- Performanța modelului poate varia în funcție de iluminare, demografie și mediu.
- Falsele pozitive pot trece neobservate dacă nu sunt monitorizate pragurile de încredere.
Următorii pași
- Definiți criteriile de acceptare pentru costurile de precizie, rechemare și erori.
- Testați cu date care corespund condițiilor reale de producție.
- Adăugați o recenzie umană pentru predicții cu încredere scăzută sau cu impact ridicat.
- Urmăriți derapajul modelului și revalidați după modificarea camerei sau a setului de date.
Continuați să explorați
Buletin gratuit
Primește briefingul zilnic AI
Trei povești AI verificate în fiecare dimineață de zi lucrătoare, scrise în engleză simplă. Gratuit pentru totdeauna, fără reclame.
Un e-mail în fiecare zi lucrătoare. Dezabonare cu un singur clic. Nu vindem niciodată și nu împărtășim adresa ta.
Testează-te
Take the Spatial Transformer Networks quiz
Feedback instantaneu la fiecare răspuns și un certificat partajabil cu un ID verificabil după ce parcurgi un curs.
Susține educația AI gratuită. AI Understanding este o organizație nonprofit 501(c)(3) — fără reclame, fără barieră de plată, pentru totdeauna. Fă o donație
Întrebări frecvente
Ce este rețelele de transformatoare spațiale?
Rețelele de transformare spațială (STN) sunt module care pot fi învățate care permit unei rețele neuronale să deformeze, să se rotească, să decupeze sau să redimensioneze în mod activ intrarea pentru a se concentra pe ceea ce contează. Ele oferă CNN-urilor un sentiment încorporat de atenție și invarianță spațială.
Ce capacitate adaugă o rețea de transformare spațială unei rețele neuronale?
STN-urile inserează un modul care poate fi învățat care poate traduce, roti, scala sau deforma hărțile caracteristicilor pentru a se concentra asupra conținutului relevant.
Care trei componente alcătuiesc un modul transformator spațial?
Un STN constă dintr-o rețea de localizare (predice parametrii), un generator de grilă (construiește coordonatele de eșantionare) și un eșantionare (interpolează intrarea).
De ce poate fi antrenată o rețea de transformatoare spațiale cu propagarea inversă obișnuită?
Interpolarea biliniară în eșantionare este diferențiabilă, astfel încât gradienții curg înapoi prin generatorul de grilă către rețeaua de localizare, permițând antrenamentul de la capăt la capăt.
Ce produce de obicei rețeaua de localizare pentru o transformare afină?
Pentru transformările afine, rețeaua de localizare prezice șase valori aranjate ca o matrice 2x3 care codifică translația, scara, rotația și forfecarea.
De ce CNN-urile standard sunt doar slab invariante la schimbările spațiale, motivând STN-urile?
CNNs achieve only modest spatial invariance through pooling; STN-urile adaugă o modalitate explicită și ușor de învățat de a gestiona poziția, scalarea și rotația.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect