LegközelebbKövetkező útmutató
Markov-lánc Monte Carlo
Műszaki
Műszaki ÚTMUTATÓ
A Monte Carlo Tree Search (MCTS) egy tervezési algoritmus, amely egy keresési fa szelektív felépítésével és sok lehetséges jövő szimulálásával dönti el a legjobb lépést.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Olyan áttöréseket hajtott végre, mint az AlphaGo, és kiválóan teljesít a rengeteg lehetséges pozícióval rendelkező játékokban.
Az MCTS erős döntéseket talál anélkül, hogy minden lehetőséget kimerítően megvizsgálna. Négy lépést ezerszer megismétel: Kijelölés (leereszkedik a meglévő fán egy olyan szabály segítségével, amely egyensúlyba hozza az ígéretes lépéseket az alulkutatottakkal), Bővítés (új gyermekcsomópont hozzáadása egy levélhez), Szimuláció vagy „kiterjesztés” (a játék végeredménye, történetileg véletlenszerű vagy heurisztikus mozdulatokkal) és Visszaterjesztés (az eredmény visszaállítása és a látogatások számának növelése, a látogatások számának növelése). Sok iteráció során a fa aszimmetrikusan növekszik, az erőfeszítéseket a legígéretesebb vonalakra összpontosítva. A választott lépés általában a leggyakrabban meglátogatott gyökérgyerek. Legfontosabb erőssége, hogy „bármikor” használható, és nagyrészt domain-agnosztikus: pusztán a játékszabályok alapján működik, és egyre javul, ahogy több számítást kell elkölteni.
Az AlphaGo és az AlphaZero elsajátítja a Go-t, a sakkot és a shogit az MCTS és a neurális hálózatok kombinálásával
Általános játékmotorok olyan társasjátékokhoz, mint a Hex, az Othello és a Settlers of Catan
Retroszintézis tervezés a kémiában, reakciófák keresése célmolekulák szintéziséhez
Többlépcsős érvelés vagy kódgenerálás irányítása modern LLM rendszerekben a jelölt lépések közötti kereséssel
Az MCTS egyre inkább egybeolvad a mély tanulással, mint például az AlphaZero és a MuZero esetében, amely utóbbi megtanulja a saját környezetmodelljét, így az MCTS anélkül tud tervezni, hogy megadnák neki a szabályokat. A társasjátékokon túl terjed az ütemezésre, a kémiai szintézis tervezésére, a tételbizonyításra, és mint szándékos „keresésen alapuló érvelési” réteg a nagy nyelvi modelleken a többlépcsős problémamegoldás javítása érdekében.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Monte Carlo Tree Search (MCTS) egy tervezési algoritmus, amely egy keresési fa szelektív felépítésével és sok lehetséges jövő szimulálásával dönti el a legjobb lépést. Olyan áttöréseket hajtott végre, mint az AlphaGo, és kiválóan teljesít a rengeteg lehetséges pozícióval rendelkező játékokban.
Minden MCTS iteráció kiválaszt egy útvonalat a fában, kibont egy új csomópontot, szimulál egy eredményt, és az eredményt visszamásolja a statisztikák frissítéséhez.
Az UCT egy felfedezési bónuszt ad hozzá, amely a ritkán látogatott csomópontokhoz nő, egyensúlyban tartva az ismert jó lépések kihasználását a bizonytalanok feltárásával.
A kiterjesztés lejátssza a játékot az újonnan kibővített csomóponttól a végső eredményig (hagyományosan véletlenszerű vagy heurisztikus lépésekkel), hogy megbecsülje a csomópont értékét.
The 2016 AlphaGo system combined Monte Carlo simulation with policy and value networks, and also retained a fast rollout policy.
A leglátogatottabb gyökérgyermeket általában azért választják, mert az intenzív felfedezés az adott lépés erejébe vetett tartós bizalmat tükrözi.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Markov-lánc Monte Carlo
Műszaki