发生了什么
CoreWeave 宣布在其云基础设施上生产 NVIDIA Vera Rubin NVL72 系统和 Vera CPU。 Devin AI 软件工程师的开发者 Cognition 是第一个在这款新硬件上运行生产工作负载的客户。此外,CoreWeave 还推出了 CoreWeave Forge,这是一个用于训练和评估 AI 模型和代理的统一环境。
CoreWeave 宣布在其云平台上推出配备 Spectrum-X 102.4T 以太网网络的 NVIDIA Vera Rubin NVL72 系统。这使得 CoreWeave 成为首批向客户提供下一代人工智能基础设施的云提供商之一。该消息是在旧金山举行的 CoreWeave 全连接活动上宣布的。
Cognition 是 Devin AI 软件工程师背后的应用 AI 实验室,是第一个在 Vera Rubin 上运行生产工作负载的客户。 Cognition 在九个月内扩展到 CoreWeave 上的数千个 GPU,并且最近使用真实的软件工程工作负载将 Vera Rubin 的推理性能与 GB200 NVL72 基准进行了基准测试。
在早期测试中,Cognition 报告称,与 GB200 NVL72 相比,Vera Rubin NVL72 为 SWE-2 推理工作负载提供的总令牌吞吐量提高了 4.8 倍。这些成果转化为 Devin 更快的实时代码生成和更灵敏的多步推理。
CoreWeave 还宣布推出 NVIDIA Vera,这是首款专为 AI 代理构建的 CPU。 Vera CPU 旨在处理代理工作负载的高并发和隔离要求。 CoreWeave 部署的 Vera 将 128 个 CPU 和 11,264 个内核放在一个机架中,支持超过 11,000 个并发环境。
此外,CoreWeave 还推出了 CoreWeave Forge,这是一个用于训练、评估和改进模型和代理的互联环境。 Forge 统一了权重和偏差、OpenPipe 的训练后专业知识以及开源 marimo 笔记本项目。它旨在简化人工智能模型和代理的持续改进循环。
为什么这很重要
此次部署标志着人工智能基础设施的重大转变,从通用计算转向为代理工作负载设计的专用硬件。 Vera Rubin NVL72 为推理提供了显着的性能提升,而 Vera CPU 则针对同时运行数千个隔离代理环境进行了优化。该基础设施支持对低延迟、高并发人工智能代理不断增长的需求,这些代理需要复杂的推理和工具使用,使公司能够更有效地将代理应用程序从原型扩展到生产。
Vera Rubin NVL72 和 Vera CPU 的推出解决了代理 AI 中的特定瓶颈,例如低延迟计算的需求以及同时运行数千个隔离代理环境的能力。这种专门的基础设施可以显着降低部署代理人工智能系统的成本和复杂性。
Cognition 报告的令牌吞吐量增加了 4.8 倍,这表明 Vera Rubin NVL72 可以比前几代产品更有效地处理代理 AI 所需的大量、复杂的推理任务。这可能会带来更快的开发周期和更灵敏的人工智能应用程序。
CoreWeave Forge 旨在通过提供统一的训练、评估和部署环境来解决人工智能开发工具的碎片化问题。这可以帮助人工智能团队更快地进行迭代,并减少在不同工具和供应商之间移动时发生的信号丢失。
NVIDIA 和 CoreWeave 之间的合作凸显了人工智能联合设计基础设施日益增长的重要性。通过与云提供商密切合作,NVIDIA 可以针对特定人工智能工作负载优化其硬件和软件,而 CoreWeave 可以为其客户提供差异化服务。
互动机制:它实际上是如何运作的
以交互方式探索这一发展背后的基础技术。
Which component of an AI application is the machine-learning model itself?
接下来看什么
监控其他主要 AI 实验室和企业对 Vera Rubin NVL72 的采用情况。关注 Cognition 和其他早期采用者的进一步性能基准。观察 CoreWeave Forge 的扩展及其与其他 AI 工具和框架的集成。跟踪 NVIDIA Vera CPU 对代理 AI 部署的成本和可扩展性的影响。
敬请关注其他主要人工智能实验室和企业在 CoreWeave 上采用 Vera Rubin NVL72 和 Vera CPU。 Cognition 报告的性能和成本优势可能会推动更广泛的采用。
监控 Vera Rubin NVL72 和 Vera CPU 早期采用者的进一步基准测试和实际性能数据。这将使人们更清楚地了解这一新基础设施的实际好处。
观察 CoreWeave Forge 的成长和功能开发。其与其他人工智能工具和框架集成的能力将是其在人工智能开发生态系统中取得成功的关键。
跟踪 NVIDIA Vera CPU 对代理 AI 部署的可扩展性和成本的影响。高效运行数千个隔离环境的能力可以实现新型代理人工智能应用程序。