Q-러닝 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. Q-값 Q(s, a)는 무엇을 나타냅니까?
   • 상태 s에서 조치 a를 취한 후 최적으로 행동할 때 예상되는 장기 보상
   • 상태 s에 있을 확률
   • 작업 a가 시도된 횟수
   • 행동에 대해서만 즉각적인 보상
2. Q-Learning이 '정책 위반'으로 설명되는 이유는 무엇입니까?
   • 환경 모델이 필요합니다.
   • 다른 탐색적 정책을 따르면서 최적의 정책을 학습할 수 있습니다.
   • 저장된 데이터에 대해서만 오프라인으로 작동합니다.
   • 보상을 완전히 무시합니다.
3. 업데이트 규칙에서 할인 계수 감마는 무엇을 제어합니까?
   • 탐사율
   • 상태 테이블의 크기
   • 즉각적인 보상에 비해 미래 보상에 가중치를 두는 정도
   • 에피소드 수
4. Q-Learning의 시간차(TD) 오류는 무엇인가요?
   • 두 상태의 차이점
   • 에피소드의 총 보상
   • 학습률 x 감마
   • r + gamma*max Q(s',a') - 현재 Q(s,a) 추정값
5. 일반 테이블 형식 Q-Learning이 픽셀로 인한 비디오 게임과 같은 큰 문제로 어려움을 겪는 이유는 무엇입니까?
   • 고유 상태 수가 너무 많아 테이블에 저장할 수 없습니다.
   • 보상을 사용할 수 없습니다.
   • 두 가지 작업으로만 작동합니다.
   • 감마는 1이어야 합니다.
6. 엡실론 탐욕적 행동 선택의 목적은 무엇입니까?
   • 항상 가장 높은 Q-값 동작을 선택하려면
   • 새로운 작업 탐색과 알려진 좋은 작업 활용의 균형을 맞추기 위해
   • 할인율을 설정하려면
   • Q-테이블을 저장하려면
7. What exploration condition appears in the tabular Q-learning convergence result?
   • Only the greedy action is ever sampled
   • Each state must be visited exactly once
   • Every state-action pair must be visited repeatedly under suitable learning conditions
   • The transition model must be known in advance
8. Why is Q-learning called model-free?
   • It never observes the environment
   • It does not use rewards
   • It requires a complete transition table before learning
   • It updates values from sampled rewards and next states without storing transition probabilities