SeterusnyaPanduan seterusnya
Penurunan Kecerunan Stokastik dengan Momentum
Asas
PANDUAN Asas
Keturunan Kecerunan
Keturunan kecerunan biasa mengemas kini parameter dengan menolak kadar pembelajaran dengan kecerunan objektif.
Dengar panduan iniAI-diceritakan · ~3 min
Pada halaman ini3 min dibaca
Gambaran keseluruhan
Ia bertujuan untuk mengurangkan objektif secara tempatan, manakala saiz langkah dan bentuk kehilangan menentukan sama ada kemas kini tertentu berjaya.
Menyelam dalam
Untuk objektif skalar yang boleh dibezakan, kecerunan mengenal pasti arah peningkatan tempatan paling curam di bawah norma Euclidean biasa. Turun kecerunan biasa bergerak ke arah yang bertentangan. Kemas kininya ialah berat baharu bersamaan berat lama tolak kecerunan kadar pembelajaran kali. Dalam ilustrasi skalar dengan berat lama dua, kecerunan tiga, dan kadar pembelajaran satu persepuluh, berat baharu ialah satu mata-tujuh. Formula itu menerangkan kemas kini yang dicadangkan, bukan jaminan bahawa setiap langkah terhingga mengurangkan kerugian. Kadar pembelajaran yang terlalu besar boleh mengatasi atau membawa kepada perbezaan, dan kadar yang sangat kecil boleh membuat kemajuan perlahan. Penurunan kecerunan kelompok penuh menggunakan objektif latihan yang dipilih ke atas keseluruhan set data. Kaedah stokastik dan kumpulan mini sebaliknya menggunakan kecerunan daripada contoh sampel atau kelompok. Kecerunan kelompok adalah tepat untuk pengiraan kelompok itu tetapi menganggarkan kecerunan data penuh; kebolehubahan yang terhasil boleh membantu atau menyakiti bergantung kepada masalah. Momentum menggabungkan maklumat daripada kecerunan terdahulu untuk mempengaruhi kemas kini semasa. Adam mengekalkan anggaran momen setiap parameter yang menyesuaikan kemas kini, jadi ia tidak boleh dikelirukan dengan keturunan kecerunan biasa yang tidak diubah suai. Permukaan kehilangan bukan cembung juga mengandungi titik pegun. Kecerunan sifar bukanlah bukti objektif terendah di peringkat global: titik minimum, maksima dan pelana tempatan boleh mempunyai kecerunan sifar. Oleh itu latihan memerlukan pemantauan metrik penilaian objektif dan relevan dan bukannya menganggap bahawa pengoptimum yang dinamakan atau titik pegun menetapkan kejayaan.
Pelaksanaan Dunia Sebenar
Menurunkan ralat ramalan model bahasa merentas berbilion token latihan menggunakan kemas kini kelompok mini
Menala kadar pembelajaran supaya model imej menumpu dengan cepat tanpa kehilangan yang meletup
Menggunakan momentum untuk mempercepatkan latihan rangkaian pengecaman pertuturan yang tersekat di lembah kehilangan yang panjang dan sempit
Menggunakan Adam untuk memperhalusi model pada set data kecil di mana kadar pembelajaran setiap parameter membantu kestabilan
Masa Depan Keturunan Kecerunan
Jadual kajian penyelidikan pengoptimuman, anggaran momen, kelengkungan dan pelaksanaan teragih di bawah objektif dan beban kerja tertentu. Kaedah yang berfungsi dengan baik dalam satu percubaan mungkin memerlukan tetapan yang berbeza di tempat lain. Laporkan kadar pembelajaran, persampelan, peraturan nyatakan dan syarat penilaian apabila membandingkan larian latihan. Sahkan bahawa kemas kini mengubah parameter seperti yang dimaksudkan dan jejak sama ada metrik berguna bertambah baik; arah yang didorong oleh kalkulus tempatan bukanlah jaminan universal bagi penumpuan atau kualiti aplikasi.
Mempraktikkannya
Mengapa ia penting
- Keputusan yang lebih jelas. Ia membantu anda memisahkan tuntutan teknikal yang jelas daripada bahasa pemasaran.
- Kos dan bajet. Anda boleh bertanya soalan pelaksanaan yang lebih baik sebelum menghabiskan wang atau masa.
- Pasukan dan aliran kerja. Pasukan yang berkongsi pemahaman membuat keputusan produk, dasar dan pembelajaran yang lebih baik.
Berhati-hati untuk
- Pasukan yang berbeza mungkin menggunakan istilah yang sama secara berbeza, jadi tentukan skop lebih awal.
- Penanda aras boleh kelihatan kukuh manakala prestasi dunia sebenar tidak sekata.
- Mengabaikan kualiti data dan rancangan penilaian sering menghasilkan hasil yang rapuh.
Langkah seterusnya
- Mulakan dengan definisi bahasa biasa hasil yang anda perlukan.
- Pilih satu metrik kejayaan dan satu keadaan kegagalan sebelum ujian.
- Jalankan juruterbang kecil dengan data perwakilan, bukan set demo yang digilap.
- Dokumen di mana Gradient Descent membantu dan kaedah yang lebih mudah adalah lebih baik.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Ambil kuiz Gradient Descent
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah Keturunan Kecerunan?
Keturunan kecerunan biasa mengemas kini parameter dengan menolak kadar pembelajaran dengan kecerunan objektif. Ia bertujuan untuk mengurangkan objektif secara tempatan, manakala saiz langkah dan bentuk kehilangan menentukan sama ada kemas kini tertentu berjaya.
Dalam turunan kecerunan biasa, arah manakah digunakan secara relatif kepada kecerunan objektif?
Turun kecerunan biasa menolak kecerunan berskala, dengan peningkatan bergantung pada saiz langkah dan bentuk objektif.
Apakah kawalan kadar pembelajaran?
Kadar pembelajaran menskalakan sejauh mana pemberat bergerak pada setiap kemas kini; terlalu besar, terlalu kecil menjadikan latihan sangat perlahan.
Bagaimanakah kecerunan kelompok mini berkaitan dengan objektif data latihan yang dipilih sepenuhnya?
Derivatif kelompok yang dikira adalah tepat untuk kelompok itu, manakala pensampelan menjadikannya anggaran derivatif data penuh.
Apakah masalah yang boleh disebabkan oleh kadar pembelajaran yang terlalu besar?
Langkah besar boleh melompat melepasi tahap minimum dan melantun atau meletup, menyebabkan kerugian meningkat dan bukannya diselesaikan.
Apakah maklumat yang dibawa oleh momentum ke dalam kemas kini kecerunan-keturunan kemudian?
Momentum menggabungkan sejarah kecerunan, yang boleh menjejaskan kemajuan dan ayunan; kesannya masih bergantung pada tetapan.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini