배우 평론가 방법 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 배우-비평가 방식에서 '비평가'의 역할은 무엇인가?
   • 상태(또는 행동)의 가치를 추정하고 행위자의 선택을 평가합니다.
   • 수행할 작업을 선택하려면
   • 재생 버퍼를 저장하려면
   • 환경을 무작위로 탐색하려면
2. '장점' A(s,a) = Q(s,a) - V(s)는 무엇을 측정합니까?
   • 총 에피소드 보상
   • 국가의 평균값보다 행동이 얼마나 나은가
   • 학습률
   • 사용 가능한 작업 수
3. REINFORCE와 같은 순수 정책 그라데이션 방법에 비해 비판을 추가하면 분산이 줄어드는 이유는 무엇입니까?
   • 방정식에서 보상을 제거합니다.
   • 정책을 결정적으로 만든다
   • 비평가는 기준을 제공하므로 업데이트는 덜 시끄러운 이점 신호를 사용합니다.
   • 할인율이 높아집니다
4. Q-Learning과 같은 평범한 가치 기반 방법이 어색하게 처리하는 Actor-Critic 방법에는 어떤 기능이 있습니까?
   • 개별적인 행동
   • 보상 사용
   • 미래를 할인하다
   • 연속적인 행동 공간
5. 다음 중 언어 모델의 RLHF에 널리 사용되는 Actor-Critic 기반 알고리즘은 무엇입니까?
   • PPO(근위 정책 최적화)
   • K-평균
   • 선형 회귀
   • Q-러닝
6. 행위자는 정책을 업데이트하기 위해 일반적으로 어떤 신호를 사용합니까?
   • 원시 픽셀 입력
   • 비평가가 제공한 이점 또는 TD 오류
   • 재생 버퍼 크기
   • 고정된 난수
7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
   • Decrease its probability in every state
   • Set the critic’s value estimate to zero
   • Increase the probability of choosing that action in the state
   • Replace the policy with a Q-table
8. An action’s estimated advantage is negative. What direction should the actor update favor?
   • Increase it because the critic was surprised
   • Delete the state from the environment
   • Raise the reward discount factor automatically
   • Reduce the likelihood of that action relative to the policy baseline