Regularisasi Dropout dan Stochastic
Dropout adalah trik regularisasi yang secara acak mematikan sebagian kecil neuron selama setiap langkah pelatihan, sehingga memaksa jaringan untuk membangun representasi yang kuat dan berlebihan.
Ikhtisar
It became one of the most influential techniques for fighting overfitting in deep learning.
Menyelam Lebih Dalam
Diperkenalkan oleh kelompok Hinton sekitar tahun 2012, dropout mengatasi kelemahan utama jaringan besar: neuron dapat beradaptasi bersama, belajar memperbaiki kesalahan satu sama lain dengan cara yang hanya berfungsi pada data pelatihan. Pada setiap forward pass selama pelatihan, dropout secara acak menyetel keluaran setiap neuron ke nol dengan beberapa probabilitas p (seringkali 0,5 pada lapisan padat). Karena neuron mana pun mungkin hilang, jaringan tidak dapat bergantung pada kemitraan yang rapuh dan harus menyebarkan informasi berguna ke banyak unit. Tindakan ini seperti melatih sejumlah besar jaringan tipis yang berbagi bobot. Pada waktu pengujian, dropout dimatikan dan jaringan penuh digunakan, dengan aktivasi yang diskalakan sehingga keluaran yang diharapkan sesuai dengan pelatihan. Hasilnya biasanya adalah generalisasi yang lebih baik dengan biaya pelatihan yang sedikit lebih lama.
Wawasan Teknis
Selama pelatihan, setiap unit disimpan dengan probabilitas (1 dikurangi p) melalui topeng biner acak, sehingga sub-jaringan yang berbeda diambil sampelnya setiap batch. Kerangka kerja modern menggunakan dropout terbalik: aktivasi yang bertahan dibagi (1 dikurangi p) pada waktu kereta, sehingga tidak diperlukan penskalaan pada inferensi. Keacakan ini menimbulkan kebisingan yang menghambat adaptasi bersama dan memperkirakan rata-rata pada sejumlah sub-jaringan dengan bobot bersama yang eksponensial, suatu bentuk penggabungan yang murah.
Dampak Strategis
Clearer decisions
Ini membantu Anda memisahkan klaim teknis yang jelas dari bahasa pemasaran.
Cost and budget
Anda dapat mengajukan pertanyaan implementasi yang lebih baik sebelum mengeluarkan uang atau waktu.
Team and workflow
Tim dengan pemahaman bersama membuat keputusan produk, kebijakan, dan pembelajaran yang lebih baik.
Masa Depan Dropout dan Regularisasi Stochastic
Dalam jaringan visi konvolusional, normalisasi batch sebagian besar telah menggantikan dropout standar, namun varian berkembang pesat di tempat lain: transformator menerapkan dropout pada lapisan perhatian dan feed-forward, dan DropPath (kedalaman stokastik) menghilangkan seluruh blok sisa. Dropout Monte Carlo, yang membuat dropout tetap aktif pada inferensi, digunakan untuk memperkirakan ketidakpastian model. Harapkan regularisasi stokastik tetap menjadi perangkat yang fleksibel, disesuaikan per arsitektur, bukan satu resep tetap.
Implementasi Dunia Nyata
Menambahkan lapisan Dropout dengan p sekitar 0,5 antara lapisan padat gambar atau pengklasifikasi teks di PyTorch atau Keras
Model transformator menerapkan dropout pada bobot perhatian dan aktivasi feed-forward selama pra-pelatihan
Dropout Monte Carlo, dimana dropout tetap berada pada inferensi untuk menghasilkan perkiraan ketidakpastian untuk prediksi medis atau keselamatan penting
Kedalaman stokastik (DropPath) secara acak melewatkan blok sisa untuk mengatur jaringan yang sangat dalam seperti ResNets dan transformator visi
Risiko & Pagar Pembatas
Tim yang berbeda mungkin menggunakan istilah yang sama secara berbeda, jadi tentukan cakupannya sejak dini.
Tolok ukur dapat terlihat kuat sementara kinerja di dunia nyata tidak merata.
Mengabaikan kualitas data dan rencana evaluasi sering kali menimbulkan hasil yang rapuh.
Peta Jalan Implementasi
Mulailah dengan definisi bahasa sederhana tentang hasil yang Anda butuhkan.
Pilih satu metrik keberhasilan dan satu kondisi kegagalan sebelum pengujian.
Jalankan uji coba kecil dengan data yang representatif, bukan kumpulan demo yang disempurnakan.
Dokumentasikan di mana Dropout dan Regularisasi Stochastic membantu dan di mana metode yang lebih sederhana lebih baik.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dropout and Stochastic Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Penurunan Gradien Stokastik dengan Momentum
Pertanyaan yang sering diajukan
What is Dropout and Stochastic Regularization?
Dropout adalah trik regularisasi yang secara acak mematikan sebagian kecil neuron selama setiap langkah pelatihan, sehingga memaksa jaringan untuk membangun representasi yang kuat dan berlebihan. Ini menjadi salah satu teknik paling berpengaruh untuk melawan overfitting dalam pembelajaran mendalam.
Apa yang dilakukan dropout selama pelatihan?
Dropout secara acak membuat setiap neuron menjadi nol dengan probabilitas p selama pelatihan, sehingga sub-jaringan berbeda yang berbeda digunakan pada setiap langkah.
Mengapa dropout meningkatkan generalisasi?
Dengan menghapus unit secara acak, dropout menghentikan neuron membentuk kemitraan rapuh yang hanya bekerja pada data pelatihan, sehingga meningkatkan ketahanan.
Apa yang terjadi pada dropout pada waktu ujian (inferensi)?
Kesimpulannya, jaringan penuh berjalan dengan dropout dinonaktifkan, dan aktivasi diskalakan sehingga keluaran yang diharapkan sesuai dengan distribusi pelatihan.
Tingkat putus sekolah p = 0,5 dalam satu lapisan berarti kira-kira apa yang terjadi selama pelatihan?
Dengan p = 0,5 setiap neuron memiliki peluang 50 persen untuk menjadi nol, sehingga rata-rata sekitar setengahnya dijatuhkan setiap kali meneruskan.
Apa yang dimaksud dengan dropout yang sering digambarkan sebagai perkiraan?
Mengambil sampel sub-jaringan yang berbeda, setiap langkah memperkirakan rata-rata pada jumlah jaringan berbobot bersama yang eksponensial, suatu bentuk penggabungan yang murah.