Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Câu đố Q-Learning
Kiểm tra giá trị Q, học tập ngoài chính sách, cập nhật Bellman, khám phá, giả định hội tụ và lý do tại sao Q-learning không có mô hình.
Câu hỏi 1 của 8
Giá trị Q Q(s, a) đại diện cho điều gì?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Giá trị Q Q(s, a) đại diện cho điều gì?
- Phần thưởng dài hạn được mong đợi khi thực hiện hành động a ở trạng thái s, sau đó hành động một cách tối ưu
- Xác suất ở trạng thái s
- Số lần hành động a đã được thử
- Phần thưởng ngay lập tức chỉ dành cho hành động a
- Tại sao Q-Learning được mô tả là 'ngoài chính sách'?
- Nó đòi hỏi một mô hình môi trường
- Nó có thể tìm hiểu chính sách tối ưu trong khi thực hiện theo một chính sách thăm dò khác
- Nó chỉ hoạt động ngoại tuyến trên dữ liệu được lưu trữ
- Nó hoàn toàn bỏ qua phần thưởng
- Trong quy tắc cập nhật, hệ số chiết khấu gamma kiểm soát điều gì?
- Tỷ lệ thăm dò
- Kích thước của bảng trạng thái
- Phần thưởng trong tương lai có trọng số bao nhiêu so với phần thưởng trước mắt
- Số tập
- Lỗi chênh lệch thời gian (TD) trong Q-Learning là gì?
- Sự khác biệt giữa hai trạng thái
- Tổng phần thưởng của một tập phim
- Tốc độ học nhân với gamma
- r + gamma*max Q(s',a') trừ đi ước tính Q(s,a) hiện tại
- Tại sao Q-Learning dạng bảng đơn giản lại gặp khó khăn với các vấn đề lớn như trò chơi điện tử từ pixel?
- Số lượng trạng thái riêng biệt quá lớn để lưu trữ trong bảng
- Nó không thể sử dụng phần thưởng
- Nó chỉ hoạt động với hai hành động
- Gamma phải bằng 1
- Mục đích của việc lựa chọn hành động tham lam của epsilon là gì?
- Để luôn chọn hành động có giá trị Q cao nhất
- Để cân bằng việc khám phá những hành động mới với việc khai thác những hành động tốt đã biết
- Để thiết lập hệ số chiết khấu
- Để lưu trữ bảng Q
- What exploration condition appears in the tabular Q-learning convergence result?
- Only the greedy action is ever sampled
- Each state must be visited exactly once
- Every state-action pair must be visited repeatedly under suitable learning conditions
- The transition model must be known in advance
- Why is Q-learning called model-free?
- It never observes the environment
- It does not use rewards
- It requires a complete transition table before learning
- It updates values from sampled rewards and next states without storing transition probabilities