PANDUAN Asas
Penurunan Kecerunan Stokastik dengan Momentum
Momentum ialah tweak kepada penurunan kecerunan yang mengumpul purata larian kecerunan lalu, membolehkan pengoptimuman bergolek lebih pantas melalui lembah dan melembapkan ayunan.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
It is one of the most widely used training tricks in deep learning.
Menyelam dalam
Keturunan kecerunan stokastik biasa (SGD) mengemas kini parameter dengan melangkah ke arah yang bertentangan dengan kecerunan kelompok mini semasa. Dalam landskap berbentuk jurang yang panjang dan sempit, ini berzig-zag merentasi dinding curam sambil merangkak di sepanjang lantai yang lembut. Momentum, dipopularkan oleh Polyak dan kemudian oleh Rumelhart dan rakan sekerja, membetulkannya dengan mengekalkan vektor halaju: setiap langkah menggabungkan kecerunan baharu dengan pecahan (pekali momentum, selalunya 0.9) daripada halaju sebelumnya. Arah kecerunan yang konsisten mengukuhkan dan memecut, manakala komponen berayun dibatalkan sebahagiannya. Analogi fizikal ialah bola berat yang bergolek menuruni bukit: ia membina kelajuan dalam arah yang stabil dan kurang dipesongkan oleh lebam yang bising, memberikan penumpuan yang lebih cepat dan lebih licin daripada SGD vanila.
Pelaksanaan Dunia Sebenar
Melatih rangkaian konvolusi yang mendalam seperti ResNet, dengan SGD dengan momentum 0.9 adalah resipi standard.
Anggaran kecerunan bising yang licin apabila menggunakan kumpulan mini kecil.
Melarikan diri dari dataran tinggi tempatan cetek dengan membawa halaju melalui kawasan rata.
Berkhidmat sebagai istilah momentum dalam pengoptimum penyesuaian seperti varian Adam dan RMSprop.
Masa Depan Penurunan Kecerunan Stokastik dengan Momentum
Momentum kekal asas: pengoptimum adaptif seperti Adam dan variannya membenamkan anggaran momen pertama gaya momentum, dan SGD dengan momentum masih merupakan garis dasar yang kukuh yang sering membuat generalisasi lebih baik daripada kaedah penyesuaian pada model penglihatan besar. Penyelidikan diteruskan mengenai penjadualan momentum, pereputan berat yang dipisahkan, dan interaksinya dengan latihan kelompok yang sangat besar. Jangkakan momentum untuk kekal sebagai komponen teras apabila pengoptimum berkembang untuk model yang lebih besar.
Mempraktikkannya
Mengapa ia penting
- Keputusan yang lebih jelas. Ia membantu anda memisahkan tuntutan teknikal yang jelas daripada bahasa pemasaran.
- Kos dan bajet. Anda boleh bertanya soalan pelaksanaan yang lebih baik sebelum menghabiskan wang atau masa.
- Pasukan dan aliran kerja. Pasukan yang berkongsi pemahaman membuat keputusan produk, dasar dan pembelajaran yang lebih baik.
Berhati-hati untuk
- Pasukan yang berbeza mungkin menggunakan istilah yang sama secara berbeza, jadi tentukan skop lebih awal.
- Penanda aras boleh kelihatan kukuh manakala prestasi dunia sebenar tidak sekata.
- Mengabaikan kualiti data dan rancangan penilaian sering menghasilkan hasil yang rapuh.
Langkah seterusnya
- Mulakan dengan definisi bahasa biasa hasil yang anda perlukan.
- Pilih satu metrik kejayaan dan satu keadaan kegagalan sebelum ujian.
- Jalankan juruterbang kecil dengan data perwakilan, bukan set demo yang digilap.
- Dokumen di mana Penurunan Kecerunan Stokastik dengan Momentum membantu dan kaedah yang lebih mudah adalah lebih baik.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Stochastic Gradient Descent with Momentum quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
What is Stochastic Gradient Descent with Momentum?
Momentum ialah tweak kepada penurunan kecerunan yang mengumpul purata larian kecerunan lalu, membolehkan pengoptimuman bergolek lebih pantas melalui lembah dan melembapkan ayunan. Ia adalah salah satu helah latihan yang paling banyak digunakan dalam pembelajaran mendalam.
Apakah jangka momentum terkumpul semasa latihan?
Momentum mengekalkan vektor halaju yang merupakan purata bergerak wajaran eksponen bagi kecerunan terkini, melicinkan arah kemas kini.
Dalam jurang yang panjang dan sempit, apakah masalah yang dialami oleh SGD biasa yang dapat diselesaikan oleh momentum?
Tanpa momentum, SGD berayun merentasi arah curam jurang. Momentum membatalkan ayunan ini dan memecut di sepanjang lantai lembah yang lembut.
Analogi fizikal manakah yang paling kerap digunakan untuk menggambarkan momentum?
Momentum diibaratkan seperti bola berat yang membina kelajuan dalam arah yang konsisten dan menahan pesongan daripada hentakan yang bising.
Secara kasar berapakah momentum menguatkan langkah berkesan dalam arah yang konsisten apabila beta = 0.9?
Faktor penguatan adalah lebih kurang 1/(1 - beta), dan 1/(1 - 0.9) = 10, jadi arah yang konsisten dipercepatkan kira-kira sepuluh kali ganda.
Pengoptimum moden manakah yang menggabungkan anggaran detik pertama gaya momentum?
Adam menggabungkan anggaran momen pertama (min) seperti momentum bagi kecerunan dengan anggaran momen kedua (varians) untuk penskalaan penyesuaian.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini