오프라인 강화 학습 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 오프라인(배치) 강화 학습을 정의하는 것은 무엇입니까?
   • 새로운 환경 상호 작용 없이 고정된 데이터 세트에서 학습
   • 지속적인 실시간 탐색을 통해서만 학습
   • 보상 신호가 없는 훈련
   • 모델 없이 추론 실행
2. 오프라인 RL의 핵심 기술 과제는 무엇입니까?
   • 데이터 부족
   • 분배 이동 및 분배 외 조치의 과대평가
   • 과도한 온라인 탐색
   • 네트워크에 매개변수가 너무 적습니다.
3. What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
   • A guarantee that an offline policy is safe to deploy
   • A new optimizer that removes the need for logged data
   • A benchmark suite of datasets and tasks for offline RL evaluation
   • A dataset containing only online interactions collected by each test policy
4. CQL(Conservative Q-Learning)은 과대평가에 어떻게 대처합니까?
   • 보이지 않는 행동에 대한 가치를 부풀려
   • 보상을 완전히 제거함으로써
   • 현실 세계에서 더 많은 것을 탐구함으로써
   • 배포되지 않은 작업에 대해 Q 값을 정규화하여
5. Decision Transformer는 오프라인 RL을 어떻게 재구성하나요?
   • 원하는 수익에 따라 행동을 예측하는 시퀀스 모델링
   • 상태의 클러스터링으로
   • 순수 무작위 검색으로
   • 감독된 이미지 분류로
6. 표준 온라인 RL 알고리즘을 오프라인 그대로 사용할 수 없는 이유는 무엇입니까?
   • 그들은 신경망이 없습니다
   • 가치 과대평가를 수정하기 위해 수정 데이터를 수집할 수 없습니다.
   • 그들은 결코 보상을 사용하지 않습니다
   • 정책이 필요하지 않습니다.
7. How does BCQ reduce reliance on actions absent from an offline dataset?
   • It adds random actions to every training transition
   • It assumes every action has been observed equally often
   • It constrains candidate actions to stay near actions the dataset supports
   • It removes the action-value function and reward
8. What value-learning method is central to the cited Implicit Q-Learning paper?
   • Maximum-likelihood fitting of a language tokenizer
   • Uniform regression over actions sampled from a live environment
   • A supervised image-classification loss
   • Expectile regression over values associated with dataset actions