SeterusnyaPanduan seterusnya
Pembelajaran Pengukuhan Songsang
Teknikal
PANDUAN Teknikal
Pembelajaran Pengukuhan
Pembelajaran pengukuhan melatih ejen untuk memilih tindakan menggunakan maklum balas tentang akibatnya.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Ejen berinteraksi dengan persekitaran dan cuba meningkatkan objektif ganjaran terkumpul. Ganjaran ialah isyarat yang direka bentuk dan mungkin hanya mewakili tingkah laku yang dikehendaki oleh orang ramai secara tidak sempurna.
Pengambilan utama
- Tindakan mempengaruhi pemerhatian masa depan.
- Reka bentuk ganjaran boleh mencipta insentif yang tidak diingini.
- Mengekang penerokaan dan ujian melangkaui satu persekitaran.
Menyelam dalam
Ejen memerhati keadaan atau pemerhatian, memilih tindakan mengikut dasar, dan menerima maklum balas. Tindakan boleh mengubah situasi yang dihadapi kemudian, jadi tugas itu berbeza daripada meramalkan label bebas. Urutan interaksi mungkin membentuk episod, seperti satu permainan atau satu perjalanan simulasi. Penerokaan mencuba tindakan untuk mengetahui akibatnya. Eksploitasi menggunakan apa yang telah dipelajari oleh ejen untuk mengejar ganjaran. Penggunaan sebenar mesti mengekang penerokaan apabila kesilapan boleh menjejaskan orang, peralatan atau belanjawan. Simulasi selalunya berguna, tetapi kejayaan di dalamnya mungkin bergantung pada andaian yang gagal di luarnya. Ganjaran tertunda menimbulkan masalah penugasan kredit: tindakan terdahulu yang manakah membantu atau menjejaskan hasilnya? Algoritma menganggarkan nilai atau memperbaik dasar secara langsung menggunakan pengalaman. Pilihan pemerhatian, ruang tindakan, ganjaran, dan ufuk masa boleh menjadi penting seperti nama algoritma. Uji sama ada dasar mengeksploitasi kelemahan dalam ganjaran. Jika ejen sokongan mendapat ganjaran untuk menutup tiket, ia mungkin menutup permintaan yang tidak dapat diselesaikan. Sertakan pemeriksaan langsung penyiapan tugas dan hasil yang tidak boleh diterima. Bandingkan prestasi merentas pelbagai keadaan permulaan dan laporkan kos pengumpulan pengalaman.
04Contoh yang dikerjakan
Kira pulangan diskaun
Dalam episod tiga langkah yang dicipta, ganjaran ialah 2, 0 dan 5. Dengan faktor diskaun 0.9, pulangan daripada langkah pertama ialah 2 + 0.9 × 0 + 0.9² × 5.
Hasilnya ialah 6.05. Tanpa diskaun, jumlahnya ialah 7.
Menukar definisi ganjaran atau ufuk boleh mengubah dasar yang lebih disukai walaupun dalam persekitaran yang sama.
Apa yang ditunjukkan
Contoh aritmetik ini menerangkan objektif; ia bukan hasil pembelajaran pengukuhan yang diukur.
Pelaksanaan Dunia Sebenar
Latih dasar dalam simulator dengan tindakan selamat yang jelas.
Bandingkan dasar tindakan menggunakan hasil yang direkodkan apabila andaian penilaian boleh dipertahankan.
Mempraktikkannya
Mengapa ia penting
- Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
- Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.
Berhati-hati untuk
- Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
- Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
- Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.
Langkah seterusnya
- Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
- Penanda aras di bawah beban realistik dan keadaan data.
- Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
- Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.
Sumber dan bacaan lanjut
- MIT Press; Richard S. Sutton and Andrew G. BartoPembelajaran Pengukuhan: Satu Pengenalan
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Reinforcement Learning quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Adakah pahala sama dengan redha manusia?
Tidak semestinya. Ganjaran boleh berupa ukuran berangka, hasil atau proksi maklum balas. Hubungan mereka dengan matlamat yang dimaksudkan mesti dinilai.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini