Tiếp theoHướng dẫn tiếp theo
Tính song song của tenxơ cho các mô hình lớn
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Mô hình và đường ống song song
Khi một mô hình quá lớn để vừa với một GPU, tính song song của mô hình và đường dẫn sẽ tự phân chia mô hình đó trên các thiết bị.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
This is what makes training giant language models with hundreds of billions of parameters physically possible.
Lặn sâu
Tính song song của mô hình phân vùng một mô hình duy nhất trên nhiều GPU để không một thiết bị nào cần phải giữ tất cả các trọng số. Có hai hương vị chính. Tính song song của tensor (trong lớp) phân chia phép toán bên trong một lớp, chẳng hạn như cắt một phép nhân ma trận lớn trên các GPU mà mỗi GPU tính toán một phần của đầu ra. Tính song song của đường ống (giữa các lớp) chỉ định các lớp liên tiếp khác nhau cho các GPU khác nhau, do đó, khối lớp 1 tồn tại trên GPU 0, khối 2 trên GPU 1, v.v., với các kích hoạt được chuyển tiếp giống như một dây chuyền lắp ráp. Thách thức với quy trình đơn giản là 'bong bóng': trong khi GPU 0 hoạt động ở đợt đầu tiên, các GPU xuôi dòng không hoạt động. Quy trình đường ống chia mỗi lô thành các lô nhỏ để tất cả các giai đoạn luôn bận rộn, cải thiện đáng kể việc sử dụng.
Triển khai trong thế giới thực
Huấn luyện các mô hình kiểu GPT bằng NVIDIA Megatron-LM, giúp phân chia sự chú ý của từng lớp biến áp và ma trận chuyển tiếp nguồn cấp dữ liệu trên các GPU thông qua cơ chế song song tensor.
Sử dụng GPipe để đặt các lớp khác nhau của mô hình ngôn ngữ hoặc tầm nhìn khổng lồ trên các máy gia tốc riêng biệt trong khi việc phân lô vi mô khiến chúng bận rộn.
Công cụ đường ống của DeepSpeed phân chia mô hình nhiều trăm tỷ tham số thành các giai đoạn trên nhiều nút.
Kết hợp tính song song tensor bên trong một máy chủ 8 GPU duy nhất với tính song song đường dẫn trải rộng trên nhiều máy chủ để đào tạo một mô hình quá lớn cho một máy.
Tương lai của mô hình và sự song song của đường ống
Các khung ngày càng tự động hóa vấn đề khó khăn trong việc quyết định cách phân vùng mô hình trên các thiết bị, sử dụng tính năng lập hồ sơ và tìm kiếm để cân bằng giữa tính toán và giao tiếp. Mong đợi sự tích hợp chặt chẽ hơn của tensor, đường dẫn và song song dữ liệu (song song 3D), lập kế hoạch vi mô thông minh hơn để gần như loại bỏ bong bóng đường ống và phần cứng có kết nối nhanh hơn để việc chia một lớp trên các chip trở nên rẻ hơn và thường xuyên hơn đối với các mô hình ngày càng lớn hơn.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Model and Pipeline Parallelism quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is Model and Pipeline Parallelism?
Khi một mô hình quá lớn để vừa với một GPU, tính song song của mô hình và đường dẫn sẽ tự phân chia mô hình đó trên các thiết bị. Đây là điều khiến việc đào tạo các mô hình ngôn ngữ khổng lồ với hàng trăm tỷ tham số về mặt vật lý trở nên khả thi.
Vấn đề cơ bản nào mà mô hình và quy trình song song giải quyết?
Mô hình và đường dẫn song song phân vùng chính mô hình trên các thiết bị, cho phép đào tạo các mạng lớn hơn nhiều so với bất kỳ GPU đơn lẻ nào có thể chứa được.
Phân chia song song tensor (trong lớp) hoạt động như thế nào?
Tính song song của tensor phân chia tính toán trong một lớp duy nhất, ví dụ như chia một ma trận trọng số lớn để mỗi GPU tính một phần đầu ra.
'Bong bóng' trong sự song song đường ống ngây thơ là gì?
Ở giai đoạn đầu của quy trình, các giai đoạn xuôi dòng chưa có đầu vào và không hoạt động, gây lãng phí thời gian của GPU; khoảng trống nhàn rỗi này được gọi là bong bóng.
Sự song song của đường ống làm giảm bong bóng như thế nào?
Việc chia một lô thành các lô vi mô cho phép nhiều lô vi mô chiếm các giai đoạn khác nhau cùng một lúc, giữ cho tất cả các GPU luôn bận rộn và giảm thời gian nhàn rỗi.
Tại sao tính song song tensor thường được giữ trong một nút duy nhất?
Tính song song của tensor giao tiếp thường xuyên để kết hợp lại các kết quả ma trận một phần, do đó, nó được đặt ở nơi có băng thông kết nối cao nhất, bên trong một nút trên NVLink.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này