AlphaGo và AlphaZero

Cờ vây gặp khó khăn trong việc tìm kiếm brute-force vì không gian tìm kiếm rộng lớn và thách thức trong việc đánh giá vị trí. AlphaGo kết hợp mạng lưới chính sách gợi ý những bước đi đầy hứa hẹn và mạng lưới giá trị đánh giá các vị trí trên bàn cờ với Monte Carlo Tree Search. Bài báo gốc về Tự nhiên của nó mô tả việc học có giám sát từ các trò chơi của chuyên gia con người, sau đó là học tăng cường từ việc tự chơi. AlphaZero tổng quát hóa việc học cờ vây, cờ vua và shogi; nó bắt đầu từ việc chơi ngẫu nhiên và sử dụng các quy tắc trò chơi mà không có ví dụ về trò chơi của con người. Bài báo AlphaZero báo cáo khả năng chơi siêu phàm trong các trò chơi được thử nghiệm, bao gồm cả việc đạt đến cấp độ đó trong cờ vua và shogi trong vòng 24 giờ sau khi luyện tập. MuZero thì khác: nó học mô hình phần thưởng tiềm ẩn và chuyển đổi trạng thái đủ để lập kế hoạch mà không được cung cấp các quy tắc hoặc động lực đầy đủ của trò chơi. Đây là kết quả nghiên cứu trong trò chơi, không phải bằng chứng cho thấy hiệu suất tương tự chuyển sang các nhiệm vụ lập kế hoạch tùy ý.