Câu đố về phương pháp phê bình diễn viên

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Trong phương pháp Diễn viên-Phê bình, vai trò của 'nhà phê bình' là gì?
   • Để ước tính giá trị của các trạng thái (hoặc hành động) và đánh giá các lựa chọn của tác nhân
   • Để chọn hành động cần thực hiện
   • Để lưu trữ bộ đệm phát lại
   • Để ngẫu nhiên khám phá môi trường
2. 'Lợi thế' A(s,a) = Q(s,a) - V(s) đo lường điều gì?
   • Tổng phần thưởng tập
   • Một hành động tốt hơn bao nhiêu so với giá trị trung bình của trạng thái
   • Tỷ lệ học tập
   • Số lượng hành động có sẵn
3. Tại sao việc thêm một nhà phê bình lại làm giảm sự khác biệt so với các phương pháp chuyển tiếp chính sách thuần túy như REINFORCE?
   • Nó loại bỏ phần thưởng khỏi phương trình
   • Nó làm cho chính sách mang tính quyết định
   • Nhà phê bình cung cấp đường cơ sở để các bản cập nhật sử dụng tín hiệu lợi thế ít nhiễu hơn
   • Nó làm tăng hệ số chiết khấu
4. Các phương pháp Actor-Critic có khả năng nào mà các phương pháp dựa trên giá trị đơn giản như Q-Learning xử lý một cách lúng túng?
   • Hành động rời rạc
   • Sử dụng phần thưởng
   • Giảm giá tương lai
   • Không gian hành động liên tục
5. Thuật toán nào sau đây là thuật toán dựa trên Actor-Critic được sử dụng rộng rãi cho RLHF trên các mô hình ngôn ngữ?
   • PPO (Tối ưu hóa chính sách gần nhất)
   • K-nghĩa là
   • Hồi quy tuyến tính
   • Q-Học
6. Tác nhân thường sử dụng tín hiệu nào để cập nhật chính sách của mình?
   • Đầu vào pixel thô
   • Ưu điểm hoặc lỗi TD do nhà phê bình cung cấp
   • Kích thước bộ đệm phát lại
   • Một số ngẫu nhiên cố định
7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
   • Decrease its probability in every state
   • Set the critic’s value estimate to zero
   • Increase the probability of choosing that action in the state
   • Replace the policy with a Q-table
8. An action’s estimated advantage is negative. What direction should the actor update favor?
   • Increase it because the critic was surprised
   • Delete the state from the environment
   • Raise the reward discount factor automatically
   • Reduce the likelihood of that action relative to the policy baseline