公司指南

AlphaGo 和 AlphaZero

AlphaGo 將神經網路與蒙地卡羅樹搜尋結合,用於下圍棋。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. AlphaGo 和 AlphaZero 的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

AlphaZero 在圍棋、象棋與將棋中以自我對弈學習,並使用遊戲規則;MuZero 則學習足以規劃的模型,而不需要給予環境動態。

深入探討

圍棋對於暴力搜尋來說困難,因為搜尋空間龐大且評估局面具有挑戰性。AlphaGo 結合策略網路(建議有前景的落子)與價值網路(評估棋盤局面),並配合蒙地卡羅樹搜尋。其原始的《Nature》論文描述了從人類專家棋局中進行監督式學習,隨後再進行自我對弈的強化學習。AlphaZero 將自我對弈強化學習概括到圍棋、象棋與將棋;它從隨機下棋開始,並使用遊戲規則而不依賴人類棋局範例。AlphaZero 論文報告了在測試遊戲中超越人類的表現,包括在 24 小時內達到象棋與將棋的高水平。MuZero 則不同:它學習一個足以規劃的隱含獎勵與狀態轉移模型,而不需要提供遊戲規則或完整動態。這些是遊戲領域的研究成果,並非證明相同表現在任意規劃任務中。

現實世界的實施

比較 AlphaGo 從專家棋局中學習的監督式學習與自我對弈的強化學習。

利用 AlphaZero 的實驗研究已知規則下的搜尋與自我對弈。

檢視策略先驗與價值估計如何指導蒙地卡羅樹搜尋。

比較 MuZero 學習的規劃模型與接收明確遊戲規則的系統。

AlphaGo 和 AlphaZero 的未來

AlphaGo、AlphaZero 與 MuZero 展示了在結構化遊戲中結合學習評估與搜尋的不同方式。將這些方法應用於其他領域,需要定義動作、獎勵、限制與評估環境;僅靠遊戲結果無法確定在機器人、數學或語言任務中的表現。

付諸實踐

為什麼這很重要

  • 供應商策略. 供應商路線圖會影響您的團隊接下來可以建立的功能。
  • 成本與預算. 商業條款和部署選項會影響長期成本和風險。
  • 風險與安全. 公司激勵措施塑造了產品預設、安全態勢和開放性。

留意

  • 發佈公告可能會超過實際生產工作流程的穩定性。
  • API 定價或政策轉變可能會在一夜之間打破假設。
  • 單一供應商依賴性增加了鎖定和遷移成本。

後續步驟

  1. 使用您自己的任務和資料集評估提供者。
  2. 在整合之前查看隱私、安全和法律條款。
  3. 維護跨模型或供應商的後備計劃。
  4. 監控發行說明,以便路線圖的變更不會讓團隊感到意外。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 AlphaGo 與 AlphaZero 小測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 AlphaGo 和 AlphaZero?

AlphaGo 將神經網路與蒙地卡羅樹搜尋結合,用於下圍棋。AlphaZero 在圍棋、象棋與將棋中以自我對弈學習,並使用遊戲規則;MuZero 則學習足以規劃的模型,而不需要給予環境動態。

為什麼圍棋遊戲被認為對電腦來說特別難?

Go 巨大的分支因素使得暴力搜尋變得不可行,因此成功需要習得的直覺。

2016 年 AlphaGo 4-1 擊敗誰?

AlphaGo 在 2016 年一場廣受關注的比賽中以 4-1 擊敗圍棋冠軍李世石。

AlphaZero 的論文評估了哪三種遊戲?

AlphaZero 論文在圍棋、象棋與將棋中評估其通用強化學習算法。其結果僅針對這些遊戲與實驗。

AlphaZero 與其神經網路配對的搜尋方法是什麼?

AlphaZero 使用由神經網路的策略和值預測引導的蒙特卡羅樹搜尋。

AlphaZero 的神經網路預測哪兩件事來引導其搜尋?

網路輸出的移動看起來很有希望(政策)和對誰將獲勝的估計(價值),集中搜尋。