概述
Voyager 是一款由 LLM 驱动的 2023 代理，可以自主玩 Minecraft，通过编写可重用的代码技能并将其存储在不断增长的库中来不断学习。它表明，智能体可以通过积累和重用程序来进行开放式终身学习，而无需任何梯度更新。
Voyager 和技能库代理是一个技术构建块，会大规模影响模型质量、基础设施成本、延迟和可靠性。
深入探讨
Voyager 由 NVIDIA、加州理工学院和合作者（Wang 等人）构建，使用 GPT-4 作为大脑，并将技能视为控制 Minecraft 机器人的可执行 JavaScript 代码。它运行三个交互组件：自动课程，提出越来越难的目标以最大化探索；迭代提示机制，编写代码，在游戏中运行代码，读取错误和环境反馈，并进行自我调试，直到技能发挥作用；以及技能库，其中每个经过验证的技能都通过自然语言描述嵌入进行存储和索引。由于新技能是由以前存储的技能组成的，因此能力会随着时间的推移而复合。与之前的特工相比，航海家获得了更多独特的物品，旅行了更远的距离，解锁了科技树里程碑的速度也快得多，而且它学到的技能也转移到了新的世界。
技术洞察
Voyager 在上下文中学习，而不是通过改变模型权重。技能是经过验证的代码片段；它通过嵌入其描述来保存，以便当出现新任务时，可以检索语义相关的技能并将其作为构建块提供。自我改进循环是：生成代码、执行、观察错误和游戏状态、要求模型修复它，然后重复。这将试错变成了持久的、可组合的程序，而不是短暂的推理。
掌握 Voyager 和技能库代理
Voyager 是一款由 LLM 驱动的 2023 代理，可以自主玩 Minecraft，通过编写可重用的代码技能并将其存储在不断增长的库中来不断学习。它表明，智能体可以通过积累和重用程序来进行开放式终身学习，而无需任何梯度更新。 Voyager 和技能库代理是一个技术构建块，会大规模影响模型质量、基础设施成本、延迟和可靠性。为了建立深入的理解，请将 Voyager 和技能库代理视为一种操作模型，而不是单一功能：定义所需的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，强大的团队使用 Voyager 和技能库代理根据可靠性和成本优化架构、数据和基础设施选择。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
多年来，架构决策决定着性能和运营成本。与此同时，优化一个基准测试可以隐藏更广泛的系统弱点。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
多年来，架构决策决定着性能和运营成本。
多年来，架构决策决定着性能和运营成本。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
更好的工程选择可以减少生产中的可靠性事故。
更好的工程选择可以减少生产中的可靠性事故。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
通过组合学到的技能，在 Minecraft 的科技树（木头到石头到铁到钻石工具）中自主前进。
编写并自我调试“我的和工艺”的代码技能，然后在该子任务重复出现时重用它。
当出现类似威胁时，通过嵌入的描述检索之前存储的“对抗僵尸”技能。
将学到的技能库转移到新生成的 Minecraft 世界，以更快地引导新任务。
实施模式
Voyager 和技能库代理的实践
通过组合学到的技能，在 Minecraft 的科技树（木头到石头到铁到钻石工具）中自主前进。
通过组合学到的技能，在《我的世界》的技术树（从木头到石头、从铁到钻石工具）中自主前进当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
Voyager 和技能库代理的实践
编写并自我调试“我的和工艺”的代码技能，然后在该子任务重复出现时重用它。
编写和自我调试“我的和工艺”的代码技能，然后在子任务重复出现时重用它当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
Voyager 和技能库代理的实践
当出现类似威胁时，通过嵌入的描述检索之前存储的“对抗僵尸”技能。
当出现类似威胁时，通过嵌入的描述检索之前存储的“对抗僵尸”技能。当团队预先定义质量阈值、为边缘情况保留人员升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
Voyager 和技能库代理的实践
将学到的技能库转移到新生成的 Minecraft 世界，以更快地引导新任务。
将学到的技能库转移到新生成的 Minecraft 世界中，以更快地引导新任务 当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实施之前定义延迟、质量和成本目标。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在实际负载和数据条件下进行基准测试。
在实际负载和数据条件下进行基准测试。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
仪器监控错误、漂移和用户影响。
仪器监控错误、漂移和用户影响。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在扩展之前准备回滚和事件响应路径。
在扩展之前准备回滚和事件响应路径。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。