协变 RFM-1 和机器人基础模型
Covariant 的 RFM-1 是一个机器人基础模型，经过仓库操作数据的训练，因此机器人手臂可以通过语言和视觉来推理和挑选不熟悉的物体。
深入探讨
Covariant 由加州大学伯克利分校的 Pieter Abbeel、Peter Chen 和 Rocky Duan 等人工智能研究人员和 OpenAI 根源于 2017 年创立，该公司开发了 Covariant Brain，这是一款为仓库拣选和分拣机器人手臂提供动力的人工智能软件。其杰出产品 RFM-1（机器人基础模型 1）于 2024 年推出，接受了大量现实世界拣选数据以及文本和图像的训练，因此机器人可以处理杂乱的陌生物品箱，甚至响应自然语言指令。该系统不是对每个项目进行编程，而是根据经验进行概括，就像大型语言模型在文本中进行概括一样。 2024 年，Covariant 团队的大部分成员（包括其创始人）通过许可和人才协议被亚马逊聘用，这标志着战略机器人基础模型的发展。
技术洞察
RFM-1 是一种多模态转换器，接受文本、图像、视频、机器人传感器读数和运动动作的训练，将它们视为一个序列中的标记。通过预测这些模式中的下一个标记，它可以学习物理因果关系，因此可以在行动之前用语言和推理来提示它抓取将做什么。这使得单个模型可以控制不同的机器人并掌握新的物体，而无需针对每个项目进行工程设计，这反映了广泛的预训练如何产生通用语言能力。
战略影响
供应商策略
供应商路线图会影响您的团队接下来可以构建的功能。
成本与预算
商业条款和部署选项会影响长期成本和风险。
风险与安全
公司激励措施塑造了产品默认、安全态势和开放性。
协变 RFM-1 和机器人基础模型的未来
2024 年亚马逊的交易将 Covariant 的大部分专业知识整合到了全球最大的仓库运营商之一，这表明机器人基础模型将在拥有大量运营数据的公司内部以最快的速度扩展。预计语言、视觉和动作会更紧密地融合，更多机器人接受简单的英语指令，并与来自Figure、Physical Intelligence 和 Google 的 VLA 模型进行竞争。悬而未决的问题是，通用机器人模型是否会成为共享基础设施层，还是保持专有优势。
现实世界的实施
从杂乱的仓库箱中挑选各种前所未见的物品用于电子商务订单
在物流感应线上按目的地对包裹进行分类，无需按项目进行编程
使用自然语言提示告诉机器人手臂要抓住什么或如何处理物品
通过 Covariant Brain 软件平台为第三方仓库机器人提供动力
风险与防护栏
发布公告可能会超过实际生产工作流程的稳定性。
API 定价或政策转变可能会在一夜之间打破假设。
单一供应商依赖性增加了锁定和迁移成本。
实施路线图
使用您自己的任务和数据集评估提供商。
在集成之前查看隐私、安全和法律条款。
维护跨模型或供应商的后备计划。
监控发行说明，以便路线图的更改不会让团队感到意外。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Covariant RFM-1 and Robotic Foundation Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Covariant RFM-1 and Robotic Foundation Models?
Covariant 的 RFM-1 是一个机器人基础模型，经过仓库操作数据的训练，因此机器人手臂可以通过语言和视觉来推理和挑选不熟悉的物体。
2024 年推出的 Covariant 基础模型的名称是什么？
Covariant 推出了 RFM-1，即机器人基础模型 1，在机器人数据以及文本和图像上进行训练。
哪家大公司雇佣了 Covariant 的大部分团队并在 2024 年获得了其技术许可？
亚马逊在 2024 年的许可和人才安排中聘请了 Covariant 的创始人及其团队的大部分成员。
RFM-1借鉴大型语言模型的核心思想是什么？
RFM-1 将文本、图像、传感器读数和动作视为标记并预测下一个，像法学硕士一样学习概括。
机器人基础模型与传统仓库机器人最有区别的功能是什么？
关键优势在于泛化：从杂乱的垃圾箱中挑选新奇的、看不见的物体，而不需要对每个物品进行预编程。
Covariant 的著名创始人有哪些？
Covariant 由 Pieter Abbeel、Peter Chen 和 Rocky Duan 等人工智能研究人员共同创立，其根源于加州大学伯克利分校和 OpenAI。