Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Kaedah Pelakon-Pengkritik

Menyemak peranan pelakon dan pengkritik, kelebihan dan isyarat TD, pengurangan varians, tindakan berterusan dan contoh PPO. dalam amalan moden.

Laluan panduan yang berkaitanKaedah Pengkritik Pelakon
soalan 1 daripada 8

Dalam kaedah Pelakon-Pengkritik, apakah peranan 'pengkritik'?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Dalam kaedah Pelakon-Pengkritik, apakah peranan 'pengkritik'?
    • Untuk menganggarkan nilai keadaan (atau tindakan) dan menilai pilihan pelakon
    • Untuk memilih tindakan yang perlu diambil
    • Untuk menyimpan penimbal ulang tayang
    • Untuk meneroka alam sekitar secara rawak
  2. Apakah 'kelebihan' A(s,a) = Q(s,a) - V(s) mengukur?
    • Jumlah ganjaran episod
    • Sejauh mana tindakan adalah lebih baik daripada nilai purata negeri
    • Kadar pembelajaran
    • Bilangan tindakan yang tersedia
  3. Mengapakah penambahan pengkritik mengurangkan varians berbanding kaedah kecerunan dasar tulen seperti REINFORCE?
    • Ia mengalih keluar ganjaran daripada persamaan
    • Ia menjadikan dasar itu bersifat deterministik
    • Pengkritik menyediakan garis dasar, jadi kemas kini menggunakan isyarat kelebihan yang kurang bising
    • Ia meningkatkan faktor diskaun
  4. Keupayaan yang manakah kaedah Actor-Critic mempunyai kaedah berasaskan nilai biasa seperti Q-Learning dengan janggal?
    • Tindakan diskret
    • Menggunakan ganjaran
    • Mendiskaun masa depan
    • Ruang tindakan berterusan
  5. Antara berikut, yang manakah algoritma berasaskan Actor-Critic yang digunakan secara meluas untuk RLHF pada model bahasa?
    • PPO (Pengoptimuman Dasar Proksimal)
    • K-maksudnya
    • Regresi linear
    • Q-Pembelajaran
  6. Apakah isyarat yang biasanya digunakan oleh pelakon untuk mengemas kini dasarnya?
    • Input piksel mentah
    • Kelebihan atau ralat TD yang diberikan oleh pengkritik
    • Saiz penimbal ulang tayang
    • Nombor rawak tetap
  7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
    • Decrease its probability in every state
    • Set the critic’s value estimate to zero
    • Increase the probability of choosing that action in the state
    • Replace the policy with a Q-table
  8. An action’s estimated advantage is negative. What direction should the actor update favor?
    • Increase it because the critic was surprised
    • Delete the state from the environment
    • Raise the reward discount factor automatically
    • Reduce the likelihood of that action relative to the policy baseline