Kuiz berkaitan panduan · Sederhana Tahap
Kuiz Kaedah Pelakon-Pengkritik
Menyemak peranan pelakon dan pengkritik, kelebihan dan isyarat TD, pengurangan varians, tindakan berterusan dan contoh PPO. dalam amalan moden.
soalan 1 daripada 8
Dalam kaedah Pelakon-Pengkritik, apakah peranan 'pengkritik'?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Dalam kaedah Pelakon-Pengkritik, apakah peranan 'pengkritik'?
- Untuk menganggarkan nilai keadaan (atau tindakan) dan menilai pilihan pelakon
- Untuk memilih tindakan yang perlu diambil
- Untuk menyimpan penimbal ulang tayang
- Untuk meneroka alam sekitar secara rawak
- Apakah 'kelebihan' A(s,a) = Q(s,a) - V(s) mengukur?
- Jumlah ganjaran episod
- Sejauh mana tindakan adalah lebih baik daripada nilai purata negeri
- Kadar pembelajaran
- Bilangan tindakan yang tersedia
- Mengapakah penambahan pengkritik mengurangkan varians berbanding kaedah kecerunan dasar tulen seperti REINFORCE?
- Ia mengalih keluar ganjaran daripada persamaan
- Ia menjadikan dasar itu bersifat deterministik
- Pengkritik menyediakan garis dasar, jadi kemas kini menggunakan isyarat kelebihan yang kurang bising
- Ia meningkatkan faktor diskaun
- Keupayaan yang manakah kaedah Actor-Critic mempunyai kaedah berasaskan nilai biasa seperti Q-Learning dengan janggal?
- Tindakan diskret
- Menggunakan ganjaran
- Mendiskaun masa depan
- Ruang tindakan berterusan
- Antara berikut, yang manakah algoritma berasaskan Actor-Critic yang digunakan secara meluas untuk RLHF pada model bahasa?
- PPO (Pengoptimuman Dasar Proksimal)
- K-maksudnya
- Regresi linear
- Q-Pembelajaran
- Apakah isyarat yang biasanya digunakan oleh pelakon untuk mengemas kini dasarnya?
- Input piksel mentah
- Kelebihan atau ralat TD yang diberikan oleh pengkritik
- Saiz penimbal ulang tayang
- Nombor rawak tetap
- An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
- Decrease its probability in every state
- Set the critic’s value estimate to zero
- Increase the probability of choosing that action in the state
- Replace the policy with a Q-table
- An action’s estimated advantage is negative. What direction should the actor update favor?
- Increase it because the critic was surprised
- Delete the state from the environment
- Raise the reward discount factor automatically
- Reduce the likelihood of that action relative to the policy baseline