ГІД компаній
AlphaGo і AlphaZero
AlphaGo combined neural networks with Monte Carlo Tree Search to play Go.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
AlphaZero used self-play given game rules in Go, chess, and shogi, while MuZero learned a model sufficient for planning without being given the environment dynamics.
Глибоке занурення
Go is difficult for brute-force search because of its large search space and the challenge of evaluating positions. AlphaGo combines a policy network, which suggests promising moves, and a value network, which evaluates board positions, with Monte Carlo Tree Search. Its original Nature paper describes supervised learning from human expert games followed by reinforcement learning from self-play. AlphaZero generalizes self-play reinforcement learning to Go, chess, and shogi; it starts from random play and uses the game rules without human game examples. The AlphaZero paper reports superhuman play in the tested games, including reaching that level in chess and shogi within 24 hours of training. MuZero is different: it learns a latent model of rewards and state transitions sufficient for planning, without being supplied the game’s rules or full dynamics. These are research results in games, not evidence that the same performance transfers to arbitrary planning tasks.
Реалізація в реальному світі
Compare AlphaGo’s supervised learning from expert games with reinforcement learning from self-play.
Use AlphaZero’s experiments to study search and self-play under known game rules.
Inspect how a policy prior and value estimate can guide Monte Carlo Tree Search.
Compare MuZero’s learned planning model with systems that receive explicit game rules.
Майбутнє AlphaGo та AlphaZero
AlphaGo, AlphaZero, and MuZero show different ways to combine learned evaluation with search in structured games. Applying these methods to other domains requires defining actions, rewards, constraints, and an evaluation environment; game results alone do not establish performance in robotics, mathematics, or language tasks.
Застосування на практиці
Чому це важливо
- Стратегія постачальника. Дорожні карти постачальників впливають на те, які функції ваша команда може створити далі.
- Вартість і бюджет. Комерційні умови та варіанти розгортання впливають на довгострокову вартість і ризик.
- Ризики та безпека. Стимули компанії формують стандарти продукту, безпеку та відкритість.
Зверніть увагу на
- Оголошення про запуск можуть випереджати стабільність у реальних робочих процесах виробництва.
- Зміни в ціноутворенні API або в політиці можуть миттєво порушити припущення.
- Залежність від одного постачальника збільшує витрати на блокування та міграцію.
Наступні кроки
- Оцініть постачальників за допомогою власних завдань і наборів даних.
- Перегляньте умови конфіденційності, безпеки та юридичні умови перед інтеграцією.
- Підтримуйте запасний план для різних моделей або постачальників.
- Слідкуйте за примітками до випуску, щоб зміни дорожньої карти не здивували команди.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the AlphaGo and AlphaZero quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is AlphaGo and AlphaZero?
AlphaGo combined neural networks with Monte Carlo Tree Search to play Go. AlphaZero used self-play given game rules in Go, chess, and shogi, while MuZero learned a model sufficient for planning without being given the environment dynamics.
Чому гру Го вважали особливо важкою для комп’ютерів?
Величезний коефіцієнт розгалуження Go робить пошук грубою силою неможливим, тому для успіху потрібна навчена інтуїція.
Кого AlphaGo переграла з рахунком 4-1 у 2016 році?
AlphaGo переміг найкращого чемпіона Го Лі Седола з рахунком 4-1 у матчі 2016 року, який користувався широкою аудиторією.
Which three games did AlphaZero’s paper evaluate?
The AlphaZero paper evaluates its general reinforcement-learning algorithm in Go, chess, and shogi. Its results are specific to those games and experiments.
Який метод пошуку AlphaZero поєднує зі своєю нейронною мережею?
AlphaZero використовує пошук дерева за методом Монте-Карло, керуючись політикою нейронної мережі та прогнозами вартості.
Які дві речі прогнозує нейронна мережа AlphaZero, щоб керувати її пошуком?
Мережа показує, які кроки виглядають багатообіцяючими (політика), і оцінка того, хто виграє (значення), зосереджуючи пошук.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми