Mô hình và đường ống song song
Khi một mô hình quá lớn để vừa với một GPU, tính song song của mô hình và đường dẫn sẽ tự phân chia mô hình đó trên các thiết bị.
Tổng quan
This is what makes training giant language models with hundreds of billions of parameters physically possible.
Lặn sâu
Tính song song của mô hình phân vùng một mô hình duy nhất trên nhiều GPU để không một thiết bị nào cần phải giữ tất cả các trọng số. Có hai hương vị chính. Tính song song của tensor (trong lớp) phân chia phép toán bên trong một lớp, chẳng hạn như cắt một phép nhân ma trận lớn trên các GPU mà mỗi GPU tính toán một phần của đầu ra. Tính song song của đường ống (giữa các lớp) chỉ định các lớp liên tiếp khác nhau cho các GPU khác nhau, do đó, khối lớp 1 tồn tại trên GPU 0, khối 2 trên GPU 1, v.v., với các kích hoạt được chuyển tiếp giống như một dây chuyền lắp ráp. Thách thức với quy trình đơn giản là 'bong bóng': trong khi GPU 0 hoạt động ở đợt đầu tiên, các GPU xuôi dòng không hoạt động. Quy trình đường ống chia mỗi lô thành các lô nhỏ để tất cả các giai đoạn luôn bận rộn, cải thiện đáng kể việc sử dụng.
Hiểu biết kỹ thuật
Tính song song của tensor (như trong NVIDIA Megatron-LM) phân chia ma trận trọng số theo cột hoặc hàng và sử dụng tính năng giảm toàn bộ để kết hợp lại các kết quả từng phần, duy trì liên lạc bên trong nút NVLink nhanh. Tính song song của đường ống (GPipe, PipeDream) chia lô thành các lô nhỏ trải qua các giai đoạn theo lịch trình so le, thu hẹp thời gian 'bong bóng' nhàn rỗi. Cả hai thường được xếp lớp cùng nhau, với sự song song tensor trong một nút và sự song song đường ống giữa các nút.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của mô hình và sự song song của đường ống
Các khung ngày càng tự động hóa vấn đề khó khăn trong việc quyết định cách phân vùng mô hình trên các thiết bị, sử dụng tính năng lập hồ sơ và tìm kiếm để cân bằng giữa tính toán và giao tiếp. Mong đợi sự tích hợp chặt chẽ hơn của tensor, đường dẫn và song song dữ liệu (song song 3D), lập kế hoạch vi mô thông minh hơn để gần như loại bỏ bong bóng đường ống và phần cứng có kết nối nhanh hơn để việc chia một lớp trên các chip trở nên rẻ hơn và thường xuyên hơn đối với các mô hình ngày càng lớn hơn.
Triển khai trong thế giới thực
Huấn luyện các mô hình kiểu GPT bằng NVIDIA Megatron-LM, giúp phân chia sự chú ý của từng lớp biến áp và ma trận chuyển tiếp nguồn cấp dữ liệu trên các GPU thông qua cơ chế song song tensor.
Sử dụng GPipe để đặt các lớp khác nhau của mô hình ngôn ngữ hoặc tầm nhìn khổng lồ trên các máy gia tốc riêng biệt trong khi việc phân lô vi mô khiến chúng bận rộn.
Công cụ đường ống của DeepSpeed phân chia mô hình nhiều trăm tỷ tham số thành các giai đoạn trên nhiều nút.
Kết hợp tính song song tensor bên trong một máy chủ 8 GPU duy nhất với tính song song đường dẫn trải rộng trên nhiều máy chủ để đào tạo một mô hình quá lớn cho một máy.
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Model and Pipeline Parallelism quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Tính song song của tenxơ cho các mô hình lớn
Câu hỏi thường gặp
What is Model and Pipeline Parallelism?
Khi một mô hình quá lớn để vừa với một GPU, tính song song của mô hình và đường dẫn sẽ tự phân chia mô hình đó trên các thiết bị. Đây là điều khiến việc đào tạo các mô hình ngôn ngữ khổng lồ với hàng trăm tỷ tham số về mặt vật lý trở nên khả thi.
Vấn đề cơ bản nào mà mô hình và quy trình song song giải quyết?
Mô hình và đường dẫn song song phân vùng chính mô hình trên các thiết bị, cho phép đào tạo các mạng lớn hơn nhiều so với bất kỳ GPU đơn lẻ nào có thể chứa được.
Phân chia song song tensor (trong lớp) hoạt động như thế nào?
Tính song song của tensor phân chia tính toán trong một lớp duy nhất, ví dụ như chia một ma trận trọng số lớn để mỗi GPU tính một phần đầu ra.
'Bong bóng' trong sự song song đường ống ngây thơ là gì?
Ở giai đoạn đầu của quy trình, các giai đoạn xuôi dòng chưa có đầu vào và không hoạt động, gây lãng phí thời gian của GPU; khoảng trống nhàn rỗi này được gọi là bong bóng.
Sự song song của đường ống làm giảm bong bóng như thế nào?
Việc chia một lô thành các lô vi mô cho phép nhiều lô vi mô chiếm các giai đoạn khác nhau cùng một lúc, giữ cho tất cả các GPU luôn bận rộn và giảm thời gian nhàn rỗi.
Tại sao tính song song tensor thường được giữ trong một nút duy nhất?
Tính song song của tensor giao tiếp thường xuyên để kết hợp lại các kết quả ma trận một phần, do đó, nó được đặt ở nơi có băng thông kết nối cao nhất, bên trong một nút trên NVLink.