SelanjutnyaPanduan berikutnya
Pembelajaran Penguatan Dari Umpan Balik Manusia
Teknis
PANDUAN Teknis
Pembelajaran Penguatan Terbalik
Pembelajaran penguatan terbalik (IRL) membalik RL standar: alih-alih diberi imbalan dan menemukan kebijakan, pembelajaran ini mengamati perilaku ahli dan menyimpulkan fungsi imbalan tersembunyi yang menjelaskannya.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Hal ini penting karena imbalan yang dipulihkan dapat digeneralisasikan ke situasi baru dengan jauh lebih baik daripada tindakan yang ditiru secara langsung.
Menyelam Lebih Dalam
Pembelajaran penguatan terbalik menanyakan: tujuan apa yang harus dicapai oleh seorang pakar agar dapat berperilaku seperti itu? Dengan adanya demonstrasi, IRL memulihkan fungsi penghargaan di mana perilaku tersebut terlihat optimal (atau mendekati optimal), kemudian menggunakan RL standar untuk mendapatkan kebijakan. Motivasinya adalah generalisasi - imbalan yang dipelajari menangkap alasan di balik perilaku, sehingga agen dapat bertindak secara bijaksana dalam keadaan yang tidak pernah dicakup oleh demonstrasi, tidak seperti kloning perilaku yang hanya meniru tindakan. Masalahnya pada dasarnya tidak tepat: banyak fungsi penghargaan menjelaskan perilaku yang sama, termasuk perilaku yang sepele. Pendekatan utama menyelesaikan ambiguitas ini, termasuk metode margin maksimum yang lebih memilih imbalan yang menjadikan pakar jelas-jelas yang terbaik, dan IRL entropi maksimum, yang memilih distribusi imbalan dengan komitmen paling rendah yang konsisten dengan data.
Implementasi Dunia Nyata
Kendaraan otonom menyimpulkan preferensi berkendara (kelancaran, margin keselamatan) dari pengemudi manusia
Robot mempelajari tujuan tugas dari demonstrasi manusia untuk menggeneralisasi ke tata letak baru
Memodelkan pergerakan pejalan kaki atau hewan dengan memulihkan tujuan di balik lintasan yang diamati
Hadiahi inferensi untuk penyelarasan AI, pelajari nilai-nilai kemanusiaan dari pilihan yang ditunjukkan
Masa Depan Pembelajaran Penguatan Terbalik
IRL semakin mendukung pembelajaran penghargaan untuk keselarasan: dibandingkan dengan pemberian kode oleh manusia, sistem menyimpulkan apa yang dihargai oleh orang-orang dari perilaku dan umpan balik. Harapkan hubungan yang lebih erat dengan pembelajaran penguatan dari umpan balik manusia dan pembelajaran preferensi, penskalaan ke model bahasa dan pengaturan robotika. Penelitian sedang mendorong pemulihan imbalan dari video mentah dan observasi parsial, serta menuju imbalan yang dapat diidentifikasi dan tahan terhadap peretasan imbalan dan masalah ambiguitas yang mengganggu metode saat ini.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Inverse Reinforcement Learning quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa itu Pembelajaran Penguatan Terbalik?
Pembelajaran penguatan terbalik (IRL) membalik RL standar: alih-alih diberi imbalan dan menemukan kebijakan, pembelajaran ini mengamati perilaku ahli dan menyimpulkan fungsi imbalan tersembunyi yang menjelaskannya. Hal ini penting karena imbalan yang diperoleh dapat digeneralisasikan ke situasi baru dengan jauh lebih baik daripada tindakan yang ditiru secara langsung.
Apa yang ingin dipulihkan oleh pembelajaran penguatan terbalik?
IRL mengambil demonstrasi sebagai masukan dan menyimpulkan fungsi imbalan yang mendasari perilaku pakar tampak optimal.
Mengapa masalah IRL digambarkan sebagai masalah yang tidak tepat atau ambigu?
Berbagai fungsi imbalan, termasuk imbalan yang semuanya nol, dapat membuat perilaku yang diamati menjadi optimal, sehingga imbalan tidak ditentukan secara unik oleh demonstrasi saja.
Keuntungan utama apa yang dimiliki oleh pemulihan hadiah dibandingkan kloning perilaku?
Fungsi penghargaan mengkodekan alasan pakar bertindak seperti itu, membiarkan kebijakan turunan berperilaku wajar di negara bagian baru, sedangkan kloning hanya menyalin tindakan yang terlihat dalam data.
Bagaimana IRL entropi maksimum mengatasi ambiguitas penghargaan?
IRL entropi maksimum mengasumsikan lintasan dengan imbalan yang lebih tinggi memiliki kemungkinan yang lebih besar secara eksponensial, sehingga memberikan tujuan unik yang juga menoleransi pakar yang tidak sempurna dan berisik.
Setelah IRL memulihkan fungsi hadiah, apa yang biasanya dilakukan selanjutnya?
IRL menghasilkan imbalan, yang kemudian diserahkan ke algoritme RL normal untuk menghitung kebijakan optimal berdasarkan tujuan yang disimpulkan tersebut.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini