Bài kiểm tra học tập củng cố ngoại tuyến

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Điều gì xác định việc học tăng cường ngoại tuyến (hàng loạt)?
   • Học từ một tập dữ liệu cố định mà không cần tương tác với môi trường mới
   • Chỉ học thông qua khám phá trực tiếp liên tục
   • Huấn luyện mà không có bất kỳ tín hiệu khen thưởng nào
   • Chạy suy luận mà không cần bất kỳ mô hình nào
2. Thách thức kỹ thuật trọng tâm trong RL ngoại tuyến là gì?
   • Thiếu bất kỳ dữ liệu nào
   • Sự thay đổi phân phối và đánh giá quá cao các hành động ngoài phân phối
   • Khám phá trực tuyến quá mức
   • Quá ít tham số trong mạng
3. What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
   • A guarantee that an offline policy is safe to deploy
   • A new optimizer that removes the need for logged data
   • A benchmark suite of datasets and tasks for offline RL evaluation
   • A dataset containing only online interactions collected by each test policy
4. Q-Learning bảo thủ (CQL) chống lại việc đánh giá quá cao như thế nào?
   • Bằng cách thổi phồng giá trị cho các hành động vô hình
   • Bằng cách loại bỏ hoàn toàn phần thưởng
   • Bằng cách khám phá nhiều hơn trong thế giới thực
   • Bằng cách thường xuyên giảm giá trị Q cho các hành động ngoài phân phối
5. Bộ chuyển đổi Quyết định điều chỉnh lại RL ngoại tuyến như thế nào?
   • Là mô hình trình tự dự đoán các hành động dựa trên lợi nhuận mong muốn
   • Khi tập hợp các trạng thái
   • Là tìm kiếm ngẫu nhiên thuần túy
   • Là phân loại hình ảnh được giám sát
6. Tại sao các thuật toán RL trực tuyến tiêu chuẩn không thể được sử dụng đơn giản như ngoại tuyến?
   • Họ không có mạng lưới thần kinh
   • Họ không thể thu thập dữ liệu chính xác để khắc phục việc đánh giá quá cao giá trị
   • Họ không bao giờ sử dụng phần thưởng
   • Họ không yêu cầu chính sách
7. How does BCQ reduce reliance on actions absent from an offline dataset?
   • It adds random actions to every training transition
   • It assumes every action has been observed equally often
   • It constrains candidate actions to stay near actions the dataset supports
   • It removes the action-value function and reward
8. What value-learning method is central to the cited Implicit Q-Learning paper?
   • Maximum-likelihood fitting of a language tokenizer
   • Uniform regression over actions sampled from a live environment
   • A supervised image-classification loss
   • Expectile regression over values associated with dataset actions