SeterusnyaPanduan seterusnya
Pengesanan Transformer DETR
AI Visual
PANDUAN AI Visual
Rangkaian Transformer Spatial
Rangkaian Transformer Ruang (STN) ialah modul yang boleh dipelajari yang membenarkan rangkaian saraf secara aktif meledingkan, memutar, memangkas atau menskala semula inputnya untuk memfokuskan pada perkara yang penting.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
They give CNNs a built-in sense of spatial attention and invariance.
Menyelam dalam
Rangkaian konvolusi standard hanya invarian lemah kepada perubahan dalam kedudukan, skala dan putaran, bergantung pada pengumpulan untuk sedikit toleransi. Rangkaian Transformer Spatial, diperkenalkan oleh Jaderberg et al. pada tahun 2015, betulkan perkara ini dengan memasukkan modul boleh dibezakan yang melakukan transformasi geometri eksplisit pada peta ciri. Modul ini mempunyai tiga bahagian: rangkaian penyetempatan yang meramalkan parameter transformasi, penjana grid yang membina grid pensampelan daripada parameter tersebut dan pensampel yang menginterpolasi input pada titik grid. Kerana setiap langkah boleh dibezakan, keseluruhan transformer dilatih hujung-ke-hujung dengan perambatan belakang tanpa pengawasan tambahan. Rangkaian belajar, sebagai contoh, untuk meluruskan digit yang dicondongkan atau mengezum masuk pada rantau yang berkaitan, meningkatkan ketepatan dan keteguhan.
Pelaksanaan Dunia Sebenar
Meluruskan dan menjajarkan teks melengkung atau diputar sebelum pengecaman dalam sistem OCR teks adegan
Mengezum ke kawasan diskriminatif (seperti paruh atau sayap burung) untuk klasifikasi imej berbutir halus
Menormalkan pose dan penjajaran muka sebagai langkah prapemprosesan dalam saluran paip pengecaman muka
Membetulkan herotan dan menjajarkan imbasan dalam pendaftaran imej perubatan
Masa Depan Rangkaian Transformer Spatial
STN mempengaruhi cara rangkaian mengendalikan geometri dan perhatian, menyuap ke dalam konvolusi boleh ubah bentuk dan modul yang dipelajari. Walaupun transformer perhatian kendiri kini mendominasi, pensampelan boleh beza gaya STN berterusan dalam tugas yang memerlukan penjajaran geometri yang jelas: pengecaman teks, pengelasan halus dan normalisasi pose. Jangkakan ledingan yang boleh dibezakan untuk terus muncul dalam penglihatan 3D, pemaparan saraf dan pendaftaran imej perubatan, sering digabungkan dengan perhatian dan bukannya digantikan olehnya.
Mempraktikkannya
Mengapa ia penting
- Kelajuan dan skala. Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
- Pilihan binaan. Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
- Pasukan dan aliran kerja. Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Berhati-hati untuk
- Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
- Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
- Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Langkah seterusnya
- Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
- Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
- Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
- Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Spatial Transformer Networks quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
What is Spatial Transformer Networks?
Rangkaian Transformer Ruang (STN) ialah modul yang boleh dipelajari yang membenarkan rangkaian saraf secara aktif meledingkan, memutar, memangkas atau menskala semula inputnya untuk memfokuskan pada perkara yang penting. Mereka memberi CNN rasa perhatian spatial dan invarian terbina dalam.
Apakah keupayaan yang ditambahkan oleh Rangkaian Transformer Spatial pada rangkaian saraf?
STN memasukkan modul yang boleh dipelajari yang boleh menterjemah, memutar, menskalakan atau meledingkan peta ciri untuk memfokus pada kandungan yang berkaitan.
Tiga komponen yang manakah membentuk modul pengubah ruang?
STN terdiri daripada rangkaian penyetempatan (parameter meramal), penjana grid (membina koordinat pensampelan) dan pensampel (menginterpolasi input).
Mengapa Rangkaian Transformer Spatial boleh dilatih dengan perambatan balik biasa?
Interpolasi dwilinear dalam pensampel boleh dibezakan, jadi kecerunan mengalir kembali melalui penjana grid ke rangkaian penyetempatan, membolehkan latihan hujung ke hujung.
Apakah yang biasanya dikeluarkan oleh rangkaian penyetempatan untuk transformasi affine?
Untuk transformasi affine, rangkaian penyetempatan meramalkan enam nilai yang disusun sebagai terjemahan pengekodan matriks 2x3, skala, putaran dan ricih.
Mengapakah CNN standard hanya invarian lemah kepada perubahan spatial, memotivasikan STN?
CNN hanya mencapai invarian spatial sederhana melalui pengumpulan; STN menambah cara yang jelas dan boleh dipelajari untuk mengendalikan kedudukan, skala dan putaran.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini