Quay lại tất cả các câu đốBài kiểm tra có liên kết hướng dẫnCứng Cấp độ6 Câu hỏi

Câu đố về ngăn xếp đào tạo DeepSpeed và Megatron

Kiểm tra sự hiểu biết của bạn về các kỹ thuật song song và tối ưu hóa bộ nhớ đằng sau việc đào tạo mô hình quy mô lớn.

Đường dẫn hướng dẫn liên quanNgăn xếp đào tạo Deepspeed và Megatron
Câu hỏi 1 của 6

Mục đích chính của trình tối ưu hóa ZeRO của DeepSpeed ​​là gì?