DalšíDalší průvodce
Markovský řetěz Monte Carlo
Technický
Technický PRŮVODCE
Monte Carlo Tree Search (MCTS) je plánovací algoritmus, který rozhoduje o nejlepším kroku selektivním vytvořením vyhledávacího stromu a simulací mnoha možných budoucností.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Poháněl průlomy jako AlphaGo a vyniká ve hrách s obrovským počtem možných pozic.
MCTS nalézá silná rozhodnutí, aniž by vyčerpávajícím způsobem zkoumal každou možnost. Opakuje čtyři kroky tisíckrát: Výběr (sestup ze stávajícího stromu pomocí pravidla, které vyvažuje slibné tahy proti nedostatečně prozkoumaným), Rozšíření (přidání nového podřízeného uzlu na list), Simulace nebo „rollout“ (přehrání hry k výsledku, historicky náhodnými nebo heuristickými tahy) a Backpropagation (posunutí výsledku zpět nahoru, aktualizace počtu výher a počtu návštěv). Během mnoha iterací strom roste asymetricky a soustředí úsilí na nejslibnější linie. Vybraný tah je obvykle nejčastěji navštěvovaným kořenovým potomkem. Jeho hlavní předností je být „kdykoli“ a do značné míry agnostický pro doménu: funguje pouze podle pravidel hry a zlepšuje se, jak je vynaloženo více výpočetních prostředků.
AlphaGo a AlphaZero zvládají Go, šachy a shogi kombinací MCTS s neuronovými sítěmi
Obecné herní enginy pro deskové hry jako Hex, Othello a Settlers of Catan
Plánování retrosyntézy v chemii, hledání reakčních stromů k syntéze cílových molekul
Vedení vícekrokového uvažování nebo generování kódu v moderních LLM systémech hledáním kandidátských kroků
MCTS se stále více spojuje s hlubokým učením, jako v AlphaZero a MuZero, které se učí vlastnímu modelu prostředí, takže MCTS může plánovat, aniž by mu byla dána pravidla. Kromě deskových her se šíří do plánování, plánování chemické syntézy, dokazování teorémů a jako záměrná vrstva „uvažování založeného na hledání“ nad velkými jazykovými modely pro zlepšení řešení problémů ve více krocích.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Monte Carlo Tree Search (MCTS) je plánovací algoritmus, který rozhoduje o nejlepším kroku selektivním vytvořením vyhledávacího stromu a simulací mnoha možných budoucností. Poháněl průlomy jako AlphaGo a vyniká ve hrách s obrovským počtem možných pozic.
Každá iterace MCTS vybere cestu ve stromu, rozšíří nový uzel, simuluje výsledek a zpětně propaguje výsledek za účelem aktualizace statistik.
UCT přidává bonus za průzkum, který roste pro zřídka navštěvované uzly, čímž vyvažuje využívání známých-dobrých pohybů s průzkumem nejistých.
Zavedení hraje hru od nově rozšířeného uzlu až po konečný výsledek (tradičně prostřednictvím náhodných nebo heuristických pohybů), aby se odhadla hodnota tohoto uzlu.
The 2016 AlphaGo system combined Monte Carlo simulation with policy and value networks, and also retained a fast rollout policy.
Nejčastěji se vybírá nejnavštěvovanější kořenový potomek, protože intenzivní průzkum odráží trvalou důvěru v sílu tohoto pohybu.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Markovský řetěz Monte Carlo
Technický