Kuis terkait panduan · Sedang Tingkat

Kuis Metode Aktor-Kritikus

Memeriksa peran aktor dan kritikus, keuntungan dan sinyal TD, pengurangan varians, tindakan berkelanjutan dan contoh PPO. dalam praktik modern.

Jalur panduan terkaitMetode Kritikus Aktor
Pertanyaan 1 dari 8

Dalam metode Aktor-Kritikus, apa peran 'kritikus'?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Dalam metode Aktor-Kritikus, apa peran 'kritikus'?
    • Untuk memperkirakan nilai negara (atau tindakan) dan mengevaluasi pilihan aktor
    • Untuk memilih tindakan mana yang akan diambil
    • Untuk menyimpan buffer pemutaran ulang
    • Untuk menjelajahi lingkungan secara acak
  2. Apa yang diukur dengan 'keuntungan' A(s,a) = Q(s,a) - V(s)?
    • Total hadiah episode
    • Seberapa baik suatu tindakan dibandingkan dengan nilai rata-rata negara bagian
    • Kecepatan pembelajaran
    • Jumlah tindakan yang tersedia
  3. Mengapa menambahkan kritik mengurangi varians dibandingkan dengan metode gradien kebijakan murni seperti REINFORCE?
    • Ini menghilangkan imbalan dari persamaan
    • Hal ini menjadikan kebijakan bersifat deterministik
    • Kritikus memberikan garis dasar, sehingga pembaruan menggunakan sinyal keuntungan yang tidak terlalu berisik
    • Ini meningkatkan faktor diskon
  4. Kemampuan apa yang dimiliki metode Aktor-Kritikus yang tidak dapat ditangani dengan baik oleh metode berbasis nilai seperti Q-Learning?
    • Tindakan diskrit
    • Menggunakan hadiah
    • Mendiskontokan masa depan
    • Ruang tindakan berkelanjutan
  5. Manakah dari berikut ini yang merupakan algoritma berbasis Aktor-Kritikus yang banyak digunakan untuk RLHF pada model bahasa?
    • PPO (Optimasi Kebijakan Proksimal)
    • K-berarti
    • Regresi linier
    • Q-Pembelajaran
  6. Sinyal apa yang biasanya digunakan oleh pelaku untuk memperbarui kebijakannya?
    • Masukan piksel mentah
    • Keuntungan atau kesalahan TD yang diberikan oleh kritikus
    • Ukuran buffer pemutaran ulang
    • Nomor acak yang tetap
  7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
    • Decrease its probability in every state
    • Set the critic’s value estimate to zero
    • Increase the probability of choosing that action in the state
    • Replace the policy with a Q-table
  8. An action’s estimated advantage is negative. What direction should the actor update favor?
    • Increase it because the critic was surprised
    • Delete the state from the environment
    • Raise the reward discount factor automatically
    • Reduce the likelihood of that action relative to the policy baseline