Bài kiểm tra học bắt chước

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. In imitation learning, how does an agent acquire its behavior?
   • Học một chính sách bằng cách sao chép các minh chứng của chuyên gia
   • Tối đa hóa phần thưởng được thiết kế thủ công thông qua khám phá ngẫu nhiên
   • Nén mạng nơ-ron để chạy trên các thiết bị nhỏ
   • Tạo hình ảnh từ lời nhắc văn bản
2. Hành vi nhân bản khung bắt chước học tập là loại vấn đề gì?
   • Phân cụm không giám sát
   • Học có giám sát ánh xạ trạng thái hành động
   • Thế hệ đối nghịch
   • Định hình phần thưởng
3. Vấn đề gì khiến việc nhân bản hành vi thất bại trong các chuỗi hành động dài?
   • Trang bị quá mức cho chức năng khen thưởng
   • Độ dốc biến mất trong bộ mã hóa
   • Lỗi gộp từ ca phân phối
   • Sự quên lãng thảm khốc của lớp học cũ
4. Thuật toán DAgger giải quyết điểm yếu đó như thế nào?
   • Bằng cách loại bỏ hoàn toàn chuyên gia khỏi vòng lặp
   • Bằng cách tăng hệ số chiết khấu
   • Bằng cách thêm tiếng ồn ngẫu nhiên vào tất cả các hành động
   • Bằng cách truy vấn chuyên gia về các trạng thái, người học thực sự truy cập và tổng hợp dữ liệu đó
5. Tại sao việc học bắt chước thường được ưa chuộng hơn là học tăng cường trong những công việc như lái xe?
   • Việc trình diễn dễ dàng hơn so với chức năng khen thưởng chính xác
   • Nó đảm bảo hành vi tối ưu
   • Nó không bao giờ cần bất kỳ dữ liệu nào
   • Nó chỉ chạy nhanh hơn khi suy luận
6. What is a realistic limitation of behavioral cloning when the agent reaches states outside the demonstrations?
   • It is guaranteed to improve beyond the expert
   • Its behavior is not guaranteed there because those states may be out of distribution
   • It can only produce random actions
   • It automatically queries an expert at every step
7. In one DAgger iteration, what does the learner do before requesting expert labels?
   • Deletes all earlier demonstrations
   • Trains only on randomly generated labels
   • Rolls out its current policy and records the states it actually visits
   • Replaces the expert policy permanently
8. After the expert labels the states visited by the current policy, what happens to that data?
   • It is used only as an evaluation metric
   • It replaces the original observation space
   • It is discarded after one gradient step
   • It is aggregated with previous labeled data for retraining