概述
引用的 World Models、DreamerV3、Genie 和 GameNGen 論文展示了不同的學習模擬設定。
深入探討
世界模型學習預測環境如何隨行為變化的表徵和動態。 Ha 和 Schmidhuber 2018 年的工作使用變分自動編碼器來編碼觀察結果和潛在動態的循環模型。它的賽車實驗使用這些學習到的特徵進行控制。在單獨的 DoomTakeCover 實驗中,控制器在學習的 DoomRNN 環境中進行訓練,然後在實際遊戲中進行評估;作者沒有直接在 VizDoom 中訓練該控制器。 DreamerV3 報告稱,在評估設置中使用從想像軌跡中學習的策略,在沒有人類演示的情況下從頭開始收集 Minecraft 鑽石。 Genie 從未標記的網路影片中學習互動式環境,並且可以在影像上調節生成的環境。 GameNGen 示範了一個可學習的《DOOM》模擬器。這些是不同的研究設置,並不能證明一個模擬器可以可靠地重現每個遊戲或物理環境。
現實世界的實施
2018 年世界模型:DoomTakeCover 控制器在學習的 DoomRNN 夢想環境中進行訓練,並轉移到實際遊戲環境中。
DreamerV3:論文報告在其評估設定下從頭開始收集 Minecraft 鑽石,無需人工演示。
Genie:論文使用未標記的網路影片進行訓練,並在圖像上產生互動世界。
GameNGen:本文示範了名為《DOOM》遊戲的學習模擬器。
世界模型與學習模擬器的未來
研究方向是衡量預期任務的長期預測準確性和政策轉移。在依賴真實環境做出安全關鍵決策之前,先驗證想像的體驗。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄世界模型和學習模擬器在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
常見問題
什麼是世界模型和學習模擬器?
世界模型透過觀察和行動來預測環境動態。引用的 World Models、DreamerV3、Genie 和 GameNGen 論文展示了不同的學習模擬設定。
世界模特兒的核心工作是什麼?
世界模型學習環境動態:根據當前狀態和動作預測下一個觀察(通常是獎勵),從而實現想像中的部署。
在 2018 年世界模型 DoomTakeCover 實驗中,控制器在哪裡接受訓練?
作者在他們學習的 DoomRNN 環境中訓練了控制器,並將其轉移到實際的 DoomTakeCover 環境中。這與他們的 CarRacing 特徵提取實驗不同。
DeepMind 的 DreamerV3 取得了哪些顯著的成就?
DreamerV3 報告稱,在其評估設定中,使用學習的世界模型進行策略學習,在沒有人類演示的情況下從頭開始達到了《我的世界》中的鑽石成就。
Google 的精靈有什麼作用?
Genie 是一種生成式互動環境,可以從未標記的影片中學習來產生動作可控的 2D 世界。
許多世界模型如何使影像等高維度輸入的預測問題易於處理?
觀察被編碼為低維潛在狀態,轉換函數預測下一個潛在狀態,使推出變得有效率。