SelanjutnyaPanduan berikutnya
Penurunan Gradien Stokastik dengan Momentum
Dasar-dasar
PANDUAN Dasar
Regularisasi Dropout dan Stochastic
Dropout adalah trik regularisasi yang secara acak mematikan sebagian kecil neuron selama setiap langkah pelatihan, sehingga memaksa jaringan untuk membangun representasi yang kuat dan berlebihan.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Ini menjadi salah satu teknik paling berpengaruh untuk melawan overfitting dalam pembelajaran mendalam.
Menyelam Lebih Dalam
Diperkenalkan oleh kelompok Hinton sekitar tahun 2012, dropout mengatasi kelemahan utama jaringan besar: neuron dapat beradaptasi bersama, belajar memperbaiki kesalahan satu sama lain dengan cara yang hanya berfungsi pada data pelatihan. Pada setiap forward pass selama pelatihan, dropout secara acak menyetel keluaran setiap neuron ke nol dengan beberapa probabilitas p (seringkali 0,5 pada lapisan padat). Karena neuron mana pun mungkin hilang, jaringan tidak dapat bergantung pada kemitraan yang rapuh dan harus menyebarkan informasi berguna ke banyak unit. Tindakan ini seperti melatih sejumlah besar jaringan tipis yang berbagi bobot. Pada waktu pengujian, dropout dimatikan dan jaringan penuh digunakan, dengan aktivasi yang diskalakan sehingga keluaran yang diharapkan sesuai dengan pelatihan. Hasilnya biasanya adalah generalisasi yang lebih baik dengan biaya pelatihan yang sedikit lebih lama.
Implementasi Dunia Nyata
Menambahkan lapisan Dropout dengan p sekitar 0,5 antara lapisan padat gambar atau pengklasifikasi teks di PyTorch atau Keras
Model transformator menerapkan dropout pada bobot perhatian dan aktivasi feed-forward selama pra-pelatihan
Dropout Monte Carlo, dimana dropout tetap berada pada inferensi untuk menghasilkan perkiraan ketidakpastian untuk prediksi medis atau keselamatan penting
Kedalaman stokastik (DropPath) secara acak melewatkan blok sisa untuk mengatur jaringan yang sangat dalam seperti ResNets dan transformator visi
Masa Depan Dropout dan Regularisasi Stochastic
Dalam jaringan visi konvolusional, normalisasi batch sebagian besar telah menggantikan dropout standar, namun varian berkembang pesat di tempat lain: transformator menerapkan dropout pada lapisan perhatian dan feed-forward, dan DropPath (kedalaman stokastik) menghilangkan seluruh blok sisa. Dropout Monte Carlo, yang membuat dropout tetap aktif pada inferensi, digunakan untuk memperkirakan ketidakpastian model. Harapkan regularisasi stokastik tetap menjadi perangkat yang fleksibel, disesuaikan per arsitektur, bukan satu resep tetap.
Mempraktikkannya
Mengapa itu penting
- Keputusan yang lebih jelas. Ini membantu Anda memisahkan klaim teknis yang jelas dari bahasa pemasaran.
- Biaya dan anggaran. Anda dapat mengajukan pertanyaan implementasi yang lebih baik sebelum mengeluarkan uang atau waktu.
- Tim dan alur kerja. Tim dengan pemahaman bersama membuat keputusan produk, kebijakan, dan pembelajaran yang lebih baik.
Hati-hati
- Tim yang berbeda mungkin menggunakan istilah yang sama secara berbeda, jadi tentukan cakupannya sejak dini.
- Tolok ukur dapat terlihat kuat sementara kinerja di dunia nyata tidak merata.
- Mengabaikan kualitas data dan rencana evaluasi sering kali menimbulkan hasil yang rapuh.
Langkah selanjutnya
- Mulailah dengan definisi bahasa sederhana tentang hasil yang Anda butuhkan.
- Pilih satu metrik keberhasilan dan satu kondisi kegagalan sebelum pengujian.
- Jalankan uji coba kecil dengan data yang representatif, bukan kumpulan demo yang disempurnakan.
- Dokumentasikan di mana Dropout dan Regularisasi Stochastic membantu dan di mana metode yang lebih sederhana lebih baik.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Dropout and Stochastic Regularization quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa itu Regularisasi Dropout dan Stochastic?
Dropout adalah trik regularisasi yang secara acak mematikan sebagian kecil neuron selama setiap langkah pelatihan, sehingga memaksa jaringan untuk membangun representasi yang kuat dan berlebihan. Ini menjadi salah satu teknik paling berpengaruh untuk melawan overfitting dalam pembelajaran mendalam.
Apa yang dilakukan dropout selama pelatihan?
Dropout secara acak membuat setiap neuron menjadi nol dengan probabilitas p selama pelatihan, sehingga sub-jaringan berbeda yang berbeda digunakan pada setiap langkah.
Mengapa dropout meningkatkan generalisasi?
Dengan menghapus unit secara acak, dropout menghentikan neuron membentuk kemitraan rapuh yang hanya bekerja pada data pelatihan, sehingga meningkatkan ketahanan.
Apa yang terjadi pada dropout pada waktu ujian (inferensi)?
Kesimpulannya, jaringan penuh berjalan dengan dropout dinonaktifkan, dan aktivasi diskalakan sehingga keluaran yang diharapkan sesuai dengan distribusi pelatihan.
Tingkat putus sekolah p = 0,5 dalam satu lapisan berarti kira-kira apa yang terjadi selama pelatihan?
Dengan p = 0,5 setiap neuron memiliki peluang 50 persen untuk menjadi nol, sehingga rata-rata sekitar setengahnya dijatuhkan setiap kali meneruskan.
Apa yang dimaksud dengan dropout yang sering digambarkan sebagai perkiraan?
Mengambil sampel sub-jaringan yang berbeda, setiap langkah memperkirakan rata-rata pada jumlah jaringan berbobot bersama yang eksponensial, suatu bentuk penggabungan yang murah.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini