SeterusnyaPanduan seterusnya
Konvolusi Boleh Dipisahkan Secara Dalam
Teknikal
PANDUAN AI Visual
Konvolusi boleh ubah bentuk membolehkan rangkaian saraf membengkokkan grid pensampelannya untuk mengikut bentuk sebenar objek dan bukannya memaksanya melalui tetingkap segi empat sama tegar.
Dengar panduan iniAI-diceritakan · ~2 min
This makes models far better at handling odd shapes, scale changes, and geometric distortion.
Konvolusi biasa sampel piksel pada offset tetap — grid 3x3 kemas berpusat pada setiap lokasi. Itu berfungsi dengan baik untuk tekstur tetapi sukar apabila objek dicondongkan, diregangkan atau berbentuk aneh. Konvolusi boleh ubah bentuk, yang diperkenalkan oleh Dai dan rakan sekerja di Microsoft Research pada tahun 2017, menambah sedikit offset yang dipelajari pada setiap titik pensampelan tersebut. Rangkaian melihat input dan meramalkan anjakan 2D untuk setiap kedudukan grid, jadi medan penerimaan boleh meledingkan untuk memeluk tepi melengkung atau mengikut anggota yang senget. Pengumpulan RoI boleh ubah bentuk menggunakan idea yang sama pada ciri rantau. Versi 2 (2018) menambahkan pemberat modulasi setiap titik, membiarkan lapisan melembapkan atau menguatkan setiap sampel, yang menajamkan ketepatan pengesanan objek pada penanda aras seperti COCO.
Pengesanan objek pada COCO, di mana lapisan boleh ubah bentuk meningkatkan ketepatan pada objek memanjang atau diputar seperti kereta api dan zirafah
Pembahagian semantik adegan jalanan, membantu model mengesan tanda lorong melengkung dan garis bangunan yang tidak teratur
DETR boleh ubah bentuk untuk pengesanan hujung ke hujung, menggunakan ofset yang dipelajari untuk menjadikan perhatian pengubah cekap
Pengimejan perubatan, di mana tumor dan organ mempunyai bentuk tidak tegar yang grid tetap menangkap dengan buruk
Perhatian boleh ubah bentuk telah menjadi tulang belakang pengesanan moden: DETR boleh ubah bentuk menggunakan offset pensampelan yang dipelajari untuk menjadikan perhatian pengubah jarang dan pantas, mengurangkan masa latihan secara mendadak berbanding DETR asal. Jangkakan prinsip boleh ubah bentuk untuk terus merebak ke dalam video, awan titik 3D dan model bahasa penglihatan, di mana pensampelan adaptif membantu mengendalikan gerakan, oklusi dan geometri tidak sekata. Memandangkan sokongan perkakasan untuk capaian memori yang tidak teratur bertambah baik, pengendali boleh ubah bentuk juga harus menjadi lebih murah dan lebih meluas digunakan pada peranti tepi.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Konvolusi boleh ubah bentuk membolehkan rangkaian saraf membengkokkan grid pensampelannya untuk mengikut bentuk sebenar objek dan bukannya memaksanya melalui tetingkap segi empat sama tegar. Ini menjadikan model jauh lebih baik dalam mengendalikan bentuk ganjil, perubahan skala dan herotan geometri.
Konvolusi boleh ubah bentuk meramalkan offset yang dipelajari (dx, dy) untuk setiap lokasi pensampelan, membenarkan grid meledingkan untuk memadankan bentuk objek.
Cawangan lilitan selari mengeluarkan offset, yang dipelajari hujung ke hujung melalui perambatan belakang.
Offset pecahan memerlukan interpolasi dwilinear, yang memastikan operasi boleh dibezakan untuk latihan.
v2 memperkenalkan modulasi, berat dipelajari setiap titik pensampelan yang boleh menguatkan atau menyekat pengaruhnya, meningkatkan ketepatan.
Dengan membengkokkan grid pensampelan, medan penerimaan yang berkesan sejajar dengan geometri objek dan bukannya segi empat sama tegar.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Konvolusi Boleh Dipisahkan Secara Dalam
Teknikal