AlphaGo và AlphaZero
AlphaGo là chương trình DeepMind đã đánh bại những kỳ thủ cờ vây giỏi nhất thế giới, một cột mốc quan trọng được cho là cách đây hàng thập kỷ.
Tổng quan
AlphaZero sau đó đã thành thạo cờ vây, cờ vua và shogi hoàn toàn thông qua tự chơi, học được kỹ năng siêu phàm từ đầu.
Lặn sâu
Cờ vây có nhiều vị trí trên bàn cờ hơn các nguyên tử trong vũ trụ có thể quan sát được, khiến cho việc tìm kiếm bạo lực trở nên vô vọng và trực giác là điều cần thiết. Vào năm 2016, AlphaGo đã đánh bại nhà vô địch huyền thoại Lee Sedol 4-1, với 'Nước đi 37' nổi tiếng khiến các chuyên gia phải kinh ngạc vì không phải con người một cách đầy sáng tạo. AlphaGo học hỏi từ các trò chơi của chuyên gia con người và việc tự chơi. Vào năm 2017, AlphaZero đã tiến xa hơn: bắt đầu chỉ với các quy tắc và không có dữ liệu của con người, nó tự học bằng cách chơi hàng triệu ván đấu với chính nó, vượt qua các chương trình cờ vây, cờ vua và shogi hay nhất trong vòng vài giờ đến vài ngày. Một hệ thống sau này, MuZero, thậm chí còn tự học luật của trò chơi. Những cột mốc quan trọng này cho thấy cách học tăng cường cộng với tìm kiếm có thể khám phá các chiến lược vượt ra ngoài kiến thức của con người.
Hiểu biết kỹ thuật
AlphaZero kết hợp mạng lưới thần kinh sâu với Tìm kiếm cây Monte Carlo (MCTS). Mạng đưa ra một chính sách (các bước di chuyển có vẻ hứa hẹn) và một giá trị (ai có khả năng chiến thắng), hướng dẫn tìm kiếm chỉ khám phá các dòng phù hợp nhất thay vì mọi nhánh. Thông qua học tăng cường tự phát, các dự đoán của mạng và kết quả tìm kiếm sẽ củng cố lẫn nhau, cải thiện đều đặn. Không cần đến trò chơi của con người hoặc chức năng đánh giá thủ công, chỉ cần các quy tắc và phần thưởng cho chiến thắng.
Tác động chiến lược
Chiến lược nhà cung cấp
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Chi phí và ngân sách
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Rủi ro và an toàn
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Tương lai của AlphaGo và AlphaZero
Công thức AlphaZero, học bằng cách tự chơi được hướng dẫn bởi tìm kiếm, giờ đây ảnh hưởng đến robot, khám phá khoa học và lý luận mô hình ngôn ngữ lớn, trong đó các mô hình 'tìm kiếm' qua các bước giải pháp. Những hậu duệ như MuZero và AlphaProof áp dụng những ý tưởng này vào việc lập kế hoạch mà không cần biết đến các quy tắc và vào toán học. Mong đợi tính năng tự phát và tìm kiếm cây sẽ tiếp tục hỗ trợ các hệ thống phải lập kế hoạch, lập chiến lược và khám phá các giải pháp mới, ngày càng hợp nhất với các kỹ thuật lý luận hiện đang xuất hiện trong các mô hình AI tiên tiến.
Triển khai trong thế giới thực
Đánh bại nhà vô địch cờ vây thế giới Lee Sedol (2016) và Ke Jie (2017) trong trận đấu mang tính bước ngoặt
AlphaZero tự dạy cờ vua siêu phàm trong nhiều giờ, tiết lộ những ý tưởng khai cuộc và hy sinh mới mẻ được các kiện tướng nghiên cứu
MuZero thành thạo các trò chơi cờ vây, cờ vua, shogi và Atari mà không cần biết luật lệ
Các phương pháp tự chơi và tìm kiếm đầy cảm hứng hiện được sử dụng trong lý luận robot, toán học (AlphaProof) và LLM
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AlphaGo and AlphaZero quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Mô hình Zhipu GLM
Câu hỏi thường gặp
AlphaGo và AlphaZero là gì?
AlphaGo là chương trình DeepMind đã đánh bại những kỳ thủ cờ vây giỏi nhất thế giới, một cột mốc quan trọng được cho là cách đây hàng thập kỷ. AlphaZero sau đó thành thạo cờ vây, cờ vua và shogi hoàn toàn thông qua việc tự chơi, học kỹ năng siêu phàm từ đầu.
Tại sao trò chơi cờ vây được coi là đặc biệt khó đối với máy tính?
Yếu tố phân nhánh khổng lồ của cờ vây khiến cho việc tìm kiếm cưỡng bức không thể thực hiện được, vì vậy thành công đòi hỏi phải có trực giác học được.
AlphaGo đã đánh bại ai một cách nổi tiếng với tỷ số 4-1 vào năm 2016?
AlphaGo đánh bại nhà vô địch cờ vây hàng đầu Lee Sedol 4-1 trong một trận đấu được nhiều người theo dõi năm 2016.
AlphaZero đã học chơi như thế nào, không giống như AlphaGo?
AlphaZero bắt đầu chỉ từ các quy tắc và học hỏi duy nhất bằng cách chơi với chính nó mà không có dữ liệu trò chơi của con người.
AlphaZero kết hợp phương pháp tìm kiếm nào với mạng lưới thần kinh của nó?
AlphaZero sử dụng Tìm kiếm cây Monte Carlo được hướng dẫn bởi các dự đoán giá trị và chính sách của mạng lưới thần kinh.
Mạng lưới thần kinh của AlphaZero dự đoán hai điều gì để hướng dẫn việc tìm kiếm của nó?
Các kết quả đầu ra của mạng di chuyển có vẻ đầy hứa hẹn (chính sách) và ước tính ai sẽ thắng (giá trị), tập trung tìm kiếm.