Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Câu đố về ngăn xếp đào tạo DeepSpeed và Megatron

Kiểm tra các giai đoạn phân mảnh ZeRO, tính song song của tensor và đường ống, điểm kiểm tra kích hoạt, giảm tải và đào tạo song song 3D kết hợp.

Đường dẫn hướng dẫn liên quanNgăn xếp đào tạo Deepspeed và Megatron
Câu hỏi 1 của 8

Mục đích chính của trình tối ưu hóa ZeRO của DeepSpeed ​​là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Mục đích chính của trình tối ưu hóa ZeRO của DeepSpeed ​​là gì?
    • Để phân chia trạng thái tối ưu hóa, độ dốc và tham số trên các GPU để tiết kiệm bộ nhớ
    • Để nén mô hình cuối cùng để triển khai
    • Để dịch các mô hình giữa các khung
    • Để tự động gắn nhãn dữ liệu đào tạo
  2. Sự song song của tenxơ, như được tiên phong trong Megatron-LM, phân chia mô hình như thế nào?
    • Bằng cách đặt các lớp khác nhau trên các GPU khác nhau
    • Bằng cách cắt các phép nhân ma trận riêng lẻ trong một lớp trên GPU
    • Bằng cách cung cấp cho mỗi GPU một lô dữ liệu khác nhau
    • Bằng cách lưu trữ các bước thời gian khác nhau trên các GPU khác nhau
  3. Song song đường ống khác với song song tensor vì nó chia mô hình thành:
    • Cắt ma trận bên trong mỗi lớp
    • Sao chép toàn bộ mô hình trên mọi GPU
    • Gán các lớp (giai đoạn) khác nhau cho các GPU khác nhau
    • Lượng tử hóa trọng lượng để giảm độ chính xác
  4. Giai đoạn ZeRO nào giúp tiết kiệm bộ nhớ nhiều nhất bằng cách tự bảo vệ các tham số mô hình?
    • Giai đoạn 1
    • Giai đoạn 2
    • Giai đoạn 0
    • Giai đoạn 3
  5. 'Điểm kiểm tra kích hoạt' đánh đổi điều gì để tiết kiệm bộ nhớ trong quá trình luyện tập?
    • Tính toán bổ sung, bằng cách tính toán lại các kích hoạt trong quá trình chuyển ngược
    • Độ chính xác của mô hình
    • Băng thông mạng
    • Số lượng lớp
  6. Tại sao việc kết hợp các kỹ thuật này thường được gọi là 'song song 3D'?
    • Nó chỉ hoạt động trên card đồ họa 3D
    • Nó kết hợp song song dữ liệu, tensor và đường ống dọc theo ba trục
    • Nó sử dụng tối đa ba GPU
    • Nó hiển thị các mô hình theo ba chiều
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • Giai đoạn 0
    • Giai đoạn 2
    • Giai đoạn 1
    • Giai đoạn 3
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget