概述
AlphaZero 在圍棋、象棋與將棋中以自我對弈學習,並使用遊戲規則;MuZero 則學習足以規劃的模型,而不需要給予環境動態。
深入探討
圍棋對於暴力搜尋來說困難,因為搜尋空間龐大且評估局面具有挑戰性。AlphaGo 結合策略網路(建議有前景的落子)與價值網路(評估棋盤局面),並配合蒙地卡羅樹搜尋。其原始的《Nature》論文描述了從人類專家棋局中進行監督式學習,隨後再進行自我對弈的強化學習。AlphaZero 將自我對弈強化學習概括到圍棋、象棋與將棋;它從隨機下棋開始,並使用遊戲規則而不依賴人類棋局範例。AlphaZero 論文報告了在測試遊戲中超越人類的表現,包括在 24 小時內達到象棋與將棋的高水平。MuZero 則不同:它學習一個足以規劃的隱含獎勵與狀態轉移模型,而不需要提供遊戲規則或完整動態。這些是遊戲領域的研究成果,並非證明相同表現在任意規劃任務中。
現實世界的實施
比較 AlphaGo 從專家棋局中學習的監督式學習與自我對弈的強化學習。
利用 AlphaZero 的實驗研究已知規則下的搜尋與自我對弈。
檢視策略先驗與價值估計如何指導蒙地卡羅樹搜尋。
比較 MuZero 學習的規劃模型與接收明確遊戲規則的系統。
AlphaGo 和 AlphaZero 的未來
AlphaGo、AlphaZero 與 MuZero 展示了在結構化遊戲中結合學習評估與搜尋的不同方式。將這些方法應用於其他領域,需要定義動作、獎勵、限制與評估環境;僅靠遊戲結果無法確定在機器人、數學或語言任務中的表現。
付諸實踐
為什麼這很重要
- 供應商策略. 供應商路線圖會影響您的團隊接下來可以建立的功能。
- 成本與預算. 商業條款和部署選項會影響長期成本和風險。
- 風險與安全. 公司激勵措施塑造了產品預設、安全態勢和開放性。
留意
- 發佈公告可能會超過實際生產工作流程的穩定性。
- API 定價或政策轉變可能會在一夜之間打破假設。
- 單一供應商依賴性增加了鎖定和遷移成本。
後續步驟
- 使用您自己的任務和資料集評估提供者。
- 在整合之前查看隱私、安全和法律條款。
- 維護跨模型或供應商的後備計劃。
- 監控發行說明,以便路線圖的變更不會讓團隊感到意外。
不斷探索
常見問題
什麼是 AlphaGo 和 AlphaZero?
AlphaGo 將神經網路與蒙地卡羅樹搜尋結合,用於下圍棋。AlphaZero 在圍棋、象棋與將棋中以自我對弈學習,並使用遊戲規則;MuZero 則學習足以規劃的模型,而不需要給予環境動態。
為什麼圍棋遊戲被認為對電腦來說特別難?
Go 巨大的分支因素使得暴力搜尋變得不可行,因此成功需要習得的直覺。
2016 年 AlphaGo 4-1 擊敗誰?
AlphaGo 在 2016 年一場廣受關注的比賽中以 4-1 擊敗圍棋冠軍李世石。
AlphaZero 的論文評估了哪三種遊戲?
AlphaZero 論文在圍棋、象棋與將棋中評估其通用強化學習算法。其結果僅針對這些遊戲與實驗。
AlphaZero 與其神經網路配對的搜尋方法是什麼?
AlphaZero 使用由神經網路的策略和值預測引導的蒙特卡羅樹搜尋。
AlphaZero 的神經網路預測哪兩件事來引導其搜尋?
網路輸出的移動看起來很有希望(政策)和對誰將獲勝的估計(價值),集中搜尋。