SelanjutnyaPanduan berikutnya
Deteksi Transformator DETR
AI visual
PANDUAN AI Visual
Jaringan Transformator Spasial
Spatial Transformer Networks (STNs) adalah modul yang dapat dipelajari yang memungkinkan jaringan saraf secara aktif membengkokkan, memutar, memotong, atau mengubah skala masukannya untuk fokus pada hal yang penting.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
They give CNNs a built-in sense of spatial attention and invariance.
Menyelam Lebih Dalam
Jaringan konvolusional standar hanya sedikit invarian terhadap perubahan posisi, skala, dan rotasi, dan mengandalkan pengumpulan untuk sedikit toleransi. Jaringan Transformator Spasial, diperkenalkan oleh Jaderberg dkk. pada tahun 2015, perbaiki masalah ini dengan memasukkan modul terdiferensiasi yang melakukan transformasi geometris eksplisit pada peta fitur. Modul ini memiliki tiga bagian: jaringan lokalisasi yang memprediksi parameter transformasi, generator grid yang membuat grid pengambilan sampel dari parameter tersebut, dan sampler yang menginterpolasi input pada titik-titik grid. Karena setiap langkah dapat dibedakan, keseluruhan trafo dilatih secara end-to-end dengan propagasi mundur tanpa pengawasan ekstra. Jaringan belajar, misalnya, untuk meluruskan angka yang miring atau memperbesar wilayah yang relevan, sehingga meningkatkan akurasi dan ketahanan.
Implementasi Dunia Nyata
Meluruskan dan menyelaraskan teks yang melengkung atau diputar sebelum dikenali dalam sistem OCR teks adegan
Memperbesar wilayah yang diskriminatif (seperti paruh atau sayap burung) untuk klasifikasi gambar yang lebih detail
Normalisasi pose dan penyelarasan wajah sebagai langkah pra-pemrosesan dalam alur pengenalan wajah
Memperbaiki distorsi dan menyelaraskan pindaian dalam registrasi citra medis
Masa Depan Jaringan Transformator Spasial
STN memengaruhi cara jaringan menangani geometri dan perhatian, memasukkan konvolusi yang dapat dideformasi dan modul yang dapat dipelajari. Meskipun transformator perhatian-diri kini mendominasi, pengambilan sampel terdiferensiasi gaya STN tetap ada dalam tugas-tugas yang memerlukan penyelarasan geometris eksplisit: pengenalan teks, klasifikasi terperinci, dan normalisasi pose. Harapkan lengkungan yang dapat dibedakan untuk terus muncul dalam penglihatan 3D, rendering saraf, dan registrasi gambar medis, yang sering kali digabungkan dengan perhatian daripada digantikan olehnya.
Mempraktikkannya
Mengapa itu penting
- Kecepatan dan skala. Visual AI dapat mengotomatiskan tugas inspeksi, deteksi, dan penandaan dalam skala besar.
- Pilihan Build. Tim kreatif dapat membuat prototipe konsep lebih cepat dengan lebih sedikit revisi manual.
- Tim dan alur kerja. Pengoperasiannya dapat menggunakan sinyal gambar dan video yang sebelumnya sulit diproses.
Hati-hati
- Hak citra dan persetujuan dapat menjadi risiko hukum jika asal usulnya tidak jelas.
- Performa model dapat bervariasi berdasarkan pencahayaan, demografi, dan lingkungan.
- Positif palsu mungkin tidak diketahui kecuali ambang batas keyakinan dipantau.
Langkah selanjutnya
- Tentukan kriteria penerimaan untuk biaya presisi, penarikan kembali, dan kesalahan.
- Uji dengan data yang sesuai dengan kondisi produksi sebenarnya.
- Tambahkan tinjauan manusia untuk prediksi dengan tingkat keyakinan rendah atau dampak tinggi.
- Lacak penyimpangan model dan validasi ulang setelah kamera atau kumpulan data berubah.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Spatial Transformer Networks quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is Spatial Transformer Networks?
Spatial Transformer Networks (STNs) adalah modul yang dapat dipelajari yang memungkinkan jaringan saraf secara aktif membengkokkan, memutar, memotong, atau mengubah skala masukannya untuk fokus pada hal yang penting. Mereka memberi CNN rasa perhatian spasial dan invarian yang tertanam di dalamnya.
Kemampuan apa yang ditambahkan Jaringan Transformator Spasial ke jaringan saraf?
STN menyisipkan modul yang dapat dipelajari yang dapat menerjemahkan, memutar, menskalakan, atau mengubah peta fitur untuk fokus pada konten yang relevan.
Tiga komponen manakah yang membentuk modul transformator spasial?
STN terdiri dari jaringan lokalisasi (memprediksi parameter), generator jaringan (membangun koordinat pengambilan sampel), dan sampler (menginterpolasi masukan).
Mengapa Jaringan Transformator Spasial dapat dilatih dengan propagasi mundur biasa?
Interpolasi bilinear dalam sampler dapat dibedakan, sehingga gradien mengalir kembali melalui generator grid ke jaringan lokalisasi, sehingga memungkinkan pelatihan end-to-end.
Apa yang biasanya dihasilkan oleh jaringan lokalisasi untuk transformasi affine?
Untuk transformasi affine, jaringan lokalisasi memprediksi enam nilai yang disusun sebagai matriks 2x3 yang mengkodekan terjemahan, skala, rotasi, dan geser.
Mengapa CNN standar hanya sedikit invarian terhadap perubahan spasial, sehingga memotivasi STN?
CNN hanya mencapai invarian spasial sederhana melalui pengumpulan; STN menambahkan cara yang eksplisit dan dapat dipelajari untuk menangani posisi, skala, dan rotasi.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini