Rangkaian Sisa
Rangkaian Sisa (ResNets) ialah rangkaian saraf dalam yang menambah 'langkau sambungan' membolehkan lapisan mempelajari pelarasan kecil dan bukannya transformasi penuh.
Gambaran keseluruhan
This simple trick made it possible to train networks hundreds of layers deep, sparking a leap in image recognition accuracy.
Menyelam dalam
Sebelum ResNets, menyusun banyak lapisan rangkaian yang dibuat secara paradoks menunjukkan prestasi yang lebih teruk, walaupun pada data latihan, masalah yang dipanggil degradasi. Pada tahun 2015, penyelidik Microsoft Kaiming He dan rakan sekerja memperkenalkan blok baki: daripada meminta timbunan lapisan untuk menghasilkan output H(x) secara langsung, mereka membiarkannya mempelajari baki F(x) = H(x) - x, kemudian menambah input asal x kembali melalui pintasan. Jika lapisan tidak diperlukan, ia hanya boleh belajar untuk tidak melakukan apa-apa (F(x) = 0). ResNet-152 memenangi pertandingan ImageNet 2015 dengan ralat 5 teratas kira-kira 3.6 peratus, mengatasi anggaran peringkat manusia, dan seni binanya menjadi tulang belakang asas untuk pengesanan, segmentasi dan pengimejan perubatan.
Wawasan Teknikal
Sambungan langkau menukar kerja setiap blok menjadi y = F(x) + x. Semasa perambatan belakang, kecerunan mengalir melalui pintasan identiti tidak berubah, jadi ia tidak boleh lenyap kepada hampir sifar walaupun merentasi ratusan lapisan. Ini memastikan tindanan dalam boleh dilatih. Pintasan identiti tidak menambah parameter tambahan; hanya apabila saiz input dan output berbeza, unjuran kecil (konvolusi 1x1) melaraskan dimensi sebelum penambahan.
Kesan Strategik
Kelajuan dan skala
Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
Pilihan binaan
Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
Pasukan dan aliran kerja
Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Masa Depan Rangkaian Sisa
Sambungan sisa kini hampir universal: Transformer, model resapan dan model bahasa besar semuanya menggunakannya untuk menstabilkan latihan susunan yang sangat dalam. Penyelidikan diteruskan pada varian seperti ResNets pra-pengaktifan, laluan berkumpulan ResNeXt dan menggabungkan idea baki dengan latihan tanpa normalisasi. Jangkakan prinsip sambungan langkau teras kekal sebagai blok binaan lalai, walaupun seni bina di sekeliling beralih daripada lilitan tulen ke arah perhatian dan reka bentuk hibrid.
Pelaksanaan Dunia Sebenar
Tulang belakang klasifikasi ImageNet (ResNet-50, ResNet-101) digunakan sebagai pengekstrak ciri terlatih untuk pembelajaran pemindahan
Pengesanan tumor dan lesi dalam radiologi dan imej patologi menggunakan pengekod berasaskan ResNet
Pengesanan objek dan rangka kerja pembahagian contoh seperti Faster R-CNN dan Mask R-CNN yang menggunakan tulang belakang ResNet
Talian paip persepsi memandu sendiri yang mengklasifikasikan pejalan kaki, kenderaan dan papan tanda daripada bingkai kamera
Risiko & Pengawal
Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Hala Tuju Pelaksanaan
Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Ciri Rangkaian Piramid
Soalan lazim
What is Residual Networks?
Rangkaian Sisa (ResNets) ialah rangkaian saraf dalam yang menambah 'langkau sambungan' membolehkan lapisan mempelajari pelarasan kecil dan bukannya transformasi penuh. Helah mudah ini memungkinkan untuk melatih rangkaian ratusan lapisan dalam, mencetuskan lonjakan dalam ketepatan pengecaman imej.
Apakah masalah yang diselesaikan secara khusus oleh sambungan baki?
Sebelum ResNets, menambahkan lebih banyak lapisan menyebabkan ketepatan menurun walaupun pada data latihan. Langkau sambungan membetulkannya dengan menjadikan lapisan mudah dioptimumkan.
Apakah yang sebenarnya dikira oleh blok sisa sebagai outputnya?
Blok baki mengeluarkan y = F(x) + x, menambah baki yang dipelajari pada input melalui sambungan langkau.
Mengapa sambungan langkau membantu kecerunan semasa latihan?
Pintasan identiti menyediakan laluan terus untuk kecerunan mengalir ke belakang tidak berubah, menghalang masalah kecerunan lenyap dalam susunan yang sangat dalam.
Kira-kira berapa banyak lapisan yang dimiliki oleh model ResNet yang menang dari 2015?
ResNet-152, dengan 152 lapisan, memenangi pertandingan ImageNet 2015, menunjukkan bahawa rangkaian yang sangat dalam kini boleh dilatih dengan jayanya.
Jika lapisan blok baki belajar F(x) = 0, apakah yang dilakukan oleh bongkah itu?
Apabila F(x) = 0, output hanyalah x, jadi blok menjadi pemetaan identiti. Ini menjadikan lapisan tambahan tidak berbahaya jika ia tidak diperlukan.