PANDUAN AI Visual

Konvolusi Boleh Ubah Bentuk

Konvolusi boleh ubah bentuk membolehkan rangkaian saraf membengkokkan grid pensampelannya untuk mengikut bentuk sebenar objek dan bukannya memaksanya melalui tetingkap segi empat sama tegar.

Dengar panduan iniAI-diceritakan · ~2 min

Pada halaman ini2 min dibaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Konvolusi Boleh Ubah Bentuk
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

This makes models far better at handling odd shapes, scale changes, and geometric distortion.

Menyelam dalam

Konvolusi biasa sampel piksel pada offset tetap — grid 3x3 kemas berpusat pada setiap lokasi. Itu berfungsi dengan baik untuk tekstur tetapi sukar apabila objek dicondongkan, diregangkan atau berbentuk aneh. Konvolusi boleh ubah bentuk, yang diperkenalkan oleh Dai dan rakan sekerja di Microsoft Research pada tahun 2017, menambah sedikit offset yang dipelajari pada setiap titik pensampelan tersebut. Rangkaian melihat input dan meramalkan anjakan 2D untuk setiap kedudukan grid, jadi medan penerimaan boleh meledingkan untuk memeluk tepi melengkung atau mengikut anggota yang senget. Pengumpulan RoI boleh ubah bentuk menggunakan idea yang sama pada ciri rantau. Versi 2 (2018) menambahkan pemberat modulasi setiap titik, membiarkan lapisan melembapkan atau menguatkan setiap sampel, yang menajamkan ketepatan pengesanan objek pada penanda aras seperti COCO.

Pelaksanaan Dunia Sebenar

Pengesanan objek pada COCO, di mana lapisan boleh ubah bentuk meningkatkan ketepatan pada objek memanjang atau diputar seperti kereta api dan zirafah

Pembahagian semantik adegan jalanan, membantu model mengesan tanda lorong melengkung dan garis bangunan yang tidak teratur

DETR boleh ubah bentuk untuk pengesanan hujung ke hujung, menggunakan ofset yang dipelajari untuk menjadikan perhatian pengubah cekap

Pengimejan perubatan, di mana tumor dan organ mempunyai bentuk tidak tegar yang grid tetap menangkap dengan buruk

Masa Depan Konvolusi Boleh Ubah Bentuk

Perhatian boleh ubah bentuk telah menjadi tulang belakang pengesanan moden: DETR boleh ubah bentuk menggunakan offset pensampelan yang dipelajari untuk menjadikan perhatian pengubah jarang dan pantas, mengurangkan masa latihan secara mendadak berbanding DETR asal. Jangkakan prinsip boleh ubah bentuk untuk terus merebak ke dalam video, awan titik 3D dan model bahasa penglihatan, di mana pensampelan adaptif membantu mengendalikan gerakan, oklusi dan geometri tidak sekata. Memandangkan sokongan perkakasan untuk capaian memori yang tidak teratur bertambah baik, pengendali boleh ubah bentuk juga harus menjadi lebih murah dan lebih meluas digunakan pada peranti tepi.

Mempraktikkannya

Mengapa ia penting

  • Kelajuan dan skala. Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
  • Pilihan binaan. Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
  • Pasukan dan aliran kerja. Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.

Berhati-hati untuk

  • Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
  • Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
  • Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.

Langkah seterusnya

  1. Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
  2. Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
  3. Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
  4. Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the Deformable Convolutions quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

What is Deformable Convolutions?

Konvolusi boleh ubah bentuk membolehkan rangkaian saraf membengkokkan grid pensampelannya untuk mengikut bentuk sebenar objek dan bukannya memaksanya melalui tetingkap segi empat sama tegar. Ini menjadikan model jauh lebih baik dalam mengendalikan bentuk ganjil, perubahan skala dan herotan geometri.

Apakah yang ditambah oleh lilitan boleh ubah bentuk berbanding lilitan piawai?

Konvolusi boleh ubah bentuk meramalkan offset yang dipelajari (dx, dy) untuk setiap lokasi pensampelan, membenarkan grid meledingkan untuk memadankan bentuk objek.

Bagaimanakah offset pensampelan dalam lilitan boleh ubah bentuk dijana?

Cawangan lilitan selari mengeluarkan offset, yang dipelajari hujung ke hujung melalui perambatan belakang.

Oleh kerana pengimbangan yang diramalkan biasanya pecahan, bagaimanakah nilai piksel diambil sampel pada kedudukan tersebut?

Offset pecahan memerlukan interpolasi dwilinear, yang memastikan operasi boleh dibezakan untuk latihan.

Apakah yang ditambahkan Deformable ConvNets v2 (2018) berbanding yang asal?

v2 memperkenalkan modulasi, berat dipelajari setiap titik pensampelan yang boleh menguatkan atau menyekat pengaruhnya, meningkatkan ketepatan.

Mengapakah belitan boleh ubah bentuk sangat membantu untuk objek berbentuk tidak sekata?

Dengan membengkokkan grid pensampelan, medan penerimaan yang berkesan sejajar dengan geometri objek dan bukannya segi empat sama tegar.