学习
新闻
工具
Jobs
术语表
认证
测验
使命
支持
English
Search
⌘K
提交工具
捐赠
English
Search
⌘K
学习
AI Guides & Foundations
新闻
Latest AI Developments
工具
Top AI Directory
Jobs
AI Hiring Board
术语表
AI Terms Dictionary
认证
Get Your AI Certificate
测验
Interactive AI Assessments
使命
Why We Exist
支持
Help and Contact
提交工具
捐赠
English
← 返回所有测验
引导式测验 • 硬 级别 • 6 问题
ZeRO 和分片优化器测验
测试您对 ZeRO 和分片优化器如何在大规模训练中削减冗余内存的理解。
相关引导路径
零优化器和分片优化器
问题 1 的 6
正确: 0
与普通数据并行相比,ZeRO 消除了哪些冗余?
需要提示吗?
每个 GPU 上的训练数据的重复副本
在每个 GPU 上复制优化器状态、梯度和参数的完整副本
节点之间的冗余网线
对同一批次重复前向传播