Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Câu đố ước tính FLOP đào tạo LLM

Ước tính các hoạt động đào tạo LLM dày đặc với 6ND, chuyển đổi thông lượng sang thời gian chạy, phân biệt các số liệu sử dụng và kiểm tra các giả định lập kế hoạch.

Đường dẫn hướng dẫn liên quanƯớc tính thất bại trong đào tạo lần thứ 6
Câu hỏi 1 của 8

Trong phép tính gần đúng mô hình dày đặc C ≈ 6ND, N và D đại diện cho những đại lượng nào?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Trong phép tính gần đúng mô hình dày đặc C ≈ 6ND, N và D đại diện cho những đại lượng nào?
    • Số lượng tham số và tổng số mã thông báo đào tạo được xử lý
    • Số lượng thiết bị và tài liệu duy nhất
    • Các lớp mạng và kích thước lô
    • Độ chính xác về số và kích thước tệp mô hình
  2. Một kho dữ liệu mười tỷ mã thông báo được xử lý hai lần. D nào thuộc về ước tính thứ 6?
    • Mười tỷ, bởi vì chỉ có số lượng mã thông báo duy nhất được tính
    • Hai mươi tỷ, vì cả hai đều thực hiện công tác huấn luyện
    • Năm tỷ, vì dữ liệu lặp lại giảm một nửa chi phí
    • Hai, vì D có nghĩa là số lần vượt qua
  3. Cần có sự khác biệt nào giữa FLOP và FLOP/s khi ước tính lịch trình đào tạo?
    • Cả hai đều là dung lượng bộ nhớ
    • FLOP là tốc độ và FLOP/s là tổng công việc
    • FLOP đếm các hoạt động; FLOP/s là tốc độ hoạt động
    • Both directly specify the monetary cost
  4. For one billion parameters and twenty billion processed tokens, what does 6ND estimate?
    • 1.2 × 10¹⁰ FLOPs
    • 6 × 10²⁰ FLOPs
    • 2 × 10¹⁹ FLOPs
    • 1.2 × 10²⁰ FLOPs
  5. Eight accelerators each have a relevant peak of 100 TFLOP/s and assumed model FLOPs utilization of 50%. What effective model throughput is used?
    • 400 TFLOP/s
    • 800 TFLOP/s
    • 4 TFLOP/s
    • 40,000 TFLOP/s
  6. The worked run takes about 83.3 elapsed hours on eight accelerators. Approximately how many accelerator-hours does it consume?
    • About 10.4
    • About 667
    • Khoảng 83,3
    • Khoảng 300.000
  7. Tại sao mức sử dụng FLOP phần cứng có thể vượt quá mức sử dụng FLOP mô hình cho một lần chạy tính toán lại các kích hoạt?
    • Tính toán lại tạo ra mã thông báo đào tạo độc đáo mới
    • Việc sử dụng mô hình tính lượng lưu trữ thay vì hoạt động
    • Kế toán phần cứng có thể bao gồm việc tính toán lại được loại trừ khỏi kế toán công việc theo mô hình hữu ích
    • Hai biện pháp luôn sử dụng số lượng thiết bị khác nhau
  8. Trước khi coi ước tính thời gian chạy thứ 6 là lịch trình thực tế, hướng dẫn đề xuất kiểm tra nào?
    • Giả sử mô hình phù hợp nếu FLOP/s đỉnh cao
    • Sử dụng lại mọi tỷ lệ sử dụng đã xuất bản không thay đổi
    • Chỉ đếm trọng lượng mô hình và bỏ qua bộ đệm huấn luyện
    • Đo lường một phi công đại diện và tính toán bộ nhớ cũng như các hoạt động nằm ngoài phạm vi thời gian của nó