世界模型和学习模拟器
世界模型是一种神经网络，它学习预测环境如何随时间变化，让人工智能在行动之前“想象”未来的结果。
概述
Learned simulators take this further, generating interactive, playable environments from data instead of being hand-coded by engineers.
深入探讨
世界模型不是记住要做什么，而是捕捉环境的动态：给定当前状态和提议的行动，它预测下一个观察结果。 Ha 和 Schmidhuber 发表的 2018 年经典“世界模型”论文使用自动编码器压缩游戏帧，使用循环网络对其动态进行建模，并几乎完全在这个学习的“梦想”中训练控制器。 DeepMind 的 Dreamer 系列通过推出想象的轨迹来学习潜在的动态和计划，而 DreamerV3 则掌握了各种任务 - 甚至从头开始在 Minecraft 中收集钻石。最近，Google 的 Genie 从图像和未标记的视频中生成可控的 2D 世界，而 GameNGen 仅使用扩散模型实时再现了游戏《DOOM》。吸引力：智能体可以在廉价、快速的想象中学习或接受测试，而不是在危险的、缓慢的现实中。
技术洞察
世界模型通常将高维观察编码为紧凑的潜在状态，然后学习预测下一个潜在状态和动作奖励的转换函数。规划使用“推出”：想象许多向前的行动序列并选择最好的，或者根据想象的数据训练策略。现代版本使用变压器或视频扩散来直接预测帧，以用户操作为条件，实现交互式逐帧生成。
战略影响
更清晰的判决
它可以帮助您将清晰的技术声明与营销语言分开。
成本与预算
在花费金钱或时间之前，您可以提出更好的实施问题。
团队与工作流程
具有共同理解的团队可以做出更好的产品、政策和学习决策。
世界模型和学习模拟器的未来
世界模型正在成为机器人和游戏生成的核心：它们承诺在实际交互成本高昂的情况下进行数据高效的学习，以及动态生成的可玩环境。期望更高保真度、更长视野、动作条件视频模型、与规划代理更紧密的集成，并用作训练自动驾驶和操纵策略的“神经模拟器”。开放的挑战包括长期一致性、避免幻觉物理和扩展内存。
现实世界的实施
Ha 和 Schmidhuber 几乎完全在其所学的环境梦想中训练赛车代理
DeepMind 的 DreamerV3 通过想象规划从头开始收集 Minecraft 中的钻石
Google 的 Genie 从单个提示图像生成可玩的 2D 平台游戏世界
GameNGen 实时运行《DOOM》的可玩版本，帧由扩散模型生成
风险与防护栏
不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
基准测试可能看起来很强大，但实际性能却参差不齐。
忽视数据质量和评估计划通常会产生脆弱的结果。
实施路线图
从您需要的结果的简单语言定义开始。
在测试之前选择一种成功指标和一种失败条件。
使用代表性数据运行小型试点，而不是完善的演示集。
记录世界模型和学习模拟器在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the World Models and Learned Simulators quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is World Models and Learned Simulators?
世界模型是一种神经网络，它学习预测环境如何随时间变化，让人工智能在行动之前“想象”未来的结果。学习模拟器更进一步，从数据生成交互式、可玩的环境，而不是由工程师手工编码。
世界模特的核心工作是什么？
世界模型学习环境动态：根据当前状态和动作预测下一个观察（通常是奖励），从而实现想象中的部署。
在 Ha 和 Schmidhuber 的 2018 年“世界模型”论文中，控制器主要在哪里接受训练？
智能体学会了几乎完全在学习到的潜在动态（“梦想”）内行动，然后转移到真实环境中。
DeepMind 的 DreamerV3 取得了哪些显着的成就？
DreamerV3 学习了潜在的动态并使用想象的部署来完成许多任务，包括在 Minecraft 中无需人类数据或课程即可获得钻石。
Google 的精灵有什么作用？
Genie 是一种生成式交互环境，可以从未标记的视频中学习来生成动作可控的 2D 世界。
许多世界模型如何使图像等高维输入的预测问题易于处理？
观察被编码为低维潜在状态，并且转换函数预测下一个潜在状态，从而使推出变得高效。