SeterusnyaPanduan seterusnya
Penjadualan Kadar Pembelajaran
Teknikal
PANDUAN Teknikal
Q-Pembelajaran
Q-Learning ialah algoritma pembelajaran pengukuhan yang mengajar ejen tindakan yang paling berkesan dengan mempelajari secara beransur-ansur nilai setiap langkah melalui percubaan dan kesilapan.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Ia penting kerana ia boleh mencari tingkah laku yang optimum tanpa pernah diberitahu peraturan persekitarannya.
Menyelam dalam
Q-Learning mempelajari fungsi yang dipanggil Q(s, a): ganjaran jangka panjang yang dijangkakan untuk mengambil tindakan 'a' dalam keadaan 's' dan kemudian bertindak secara optimum selepas itu. Ejen mula tidak mengetahui apa-apa, mencuba tindakan, dan memerhatikan ganjaran. Selepas setiap langkah, ia mendorong anggaran nilai Qnya ke arah ganjaran yang baru diterima serta nilai masa hadapan terdiskaun terbaik yang dijangka daripada keadaan seterusnya. Yang penting, ia adalah 'luar dasar' dan 'bebas model': ia boleh mempelajari dasar terbaik sambil meneroka secara rawak, dan ia tidak memerlukan model bagaimana dunia beralih. Memandangkan penerokaan yang mencukupi bagi setiap pasangan tindakan keadaan, nilai-Q terbukti menumpu kepada nilai optimum, dan tindakan terbaik dalam mana-mana negeri hanyalah tindakan yang mempunyai Q tertinggi.
Pelaksanaan Dunia Sebenar
Ejen permainan Atari (DeepMind's DQN) belajar bermain Breakout dan Pong terus daripada piksel skrin
Mengoptimumkan masa lampu isyarat di persimpangan untuk meminimumkan jumlah masa menunggu kenderaan
Navigasi robot melalui grid atau labirin di mana robot mempelajari laluan memaksimumkan ganjaran terpendek
Penetapan harga dinamik dan keputusan inventori di mana ejen mengetahui tindakan yang memaksimumkan keuntungan jangka panjang
Masa Depan Q-Learning
Q-Learning jadual klasik bergelut apabila keadaan terlalu banyak untuk disimpan dalam jadual. Arah yang dominan adalah menggabungkannya dengan rangkaian saraf, seperti dalam Deep Q-Networks (DQN), yang menganggarkan nilai-Q daripada input mentah seperti piksel. Penyelidikan terus menstabilkan perkara ini dengan main semula pengalaman, rangkaian sasaran dan varian seperti Double DQN dan Q-Learning pengedaran yang mengurangkan berat sebelah anggaran berlebihan dan mewakili pengedaran pulangan penuh berbanding purata tunggal.
Mempraktikkannya
Mengapa ia penting
- Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
- Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.
Berhati-hati untuk
- Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
- Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
- Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.
Langkah seterusnya
- Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
- Penanda aras di bawah beban realistik dan keadaan data.
- Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
- Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Q-Learning quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah Q-Learning?
Q-Learning ialah algoritma pembelajaran pengukuhan yang mengajar ejen tindakan yang paling berkesan dengan mempelajari secara beransur-ansur nilai setiap langkah melalui percubaan dan kesilapan. Ia penting kerana ia boleh mencari tingkah laku yang optimum tanpa pernah diberitahu peraturan persekitarannya.
Apakah yang diwakili oleh nilai Q Q(s, a)?
Q(s, a) menganggarkan jumlah ganjaran masa hadapan terdiskaun daripada mengambil tindakan a dalam keadaan s dan berkelakuan optimum selepas itu, bukan hanya ganjaran segera.
Mengapakah Q-Learning digambarkan sebagai 'luar dasar'?
Maksimum ke atas tindakan seterusnya bermakna Q-Learning mempelajari nilai dasar optimum tamak walaupun semasa ejen meneroka dengan dasar tingkah laku yang berbeza.
Dalam peraturan kemas kini, apakah kawalan gamma faktor diskaun?
Gamma (antara 0 dan 1) mendiskaun ganjaran masa hadapan; nilai dekat 1 menjadikan ejen rabun jauh, nilai dekat 0 menjadikannya rabun.
Apakah ralat perbezaan temporal (TD) dalam Q-Learning?
Ralat TD ialah jurang antara anggaran sasaran baharu (ganjaran ditambah nilai masa hadapan terdiskaun terbaik) dan anggaran Q lama; kemas kini mengecilkan jurang ini.
Mengapakah Q-Learning jadual biasa bergelut dengan masalah besar seperti permainan video daripada piksel?
Jadual carian memerlukan kemasukan bagi setiap pasangan tindakan keadaan, yang tidak boleh dilaksanakan apabila bilangan keadaan dalam berbilion-bilion, memotivasikan penghampir rangkaian saraf seperti DQN.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini