Trình tự song song và chú ý đến vòng
Tính song song của trình tự phân chia một chuỗi đầu vào dài duy nhất trên nhiều GPU dọc theo thứ nguyên mã thông báo (thời gian) và Chú ý đến vòng cho phép các GPU đó tính toán sự chú ý chính xác bằng cách chuyển các khối khóa/giá trị xung quanh một vòng.
Tổng quan
Together they make million-token context windows feasible without any single GPU holding the whole sequence.
Lặn sâu
Sự chú ý tiêu chuẩn cần mọi truy vấn để xem mọi khóa/giá trị, do đó bộ nhớ kích hoạt tăng theo độ dài chuỗi và phải có sẵn K/V đầy đủ. Tính song song của trình tự sẽ phân chia trình tự để mỗi GPU sở hữu một đoạn mã thông báo liền kề (và các truy vấn, khóa, giá trị của chúng). Sau đó, Ring Chú ý sắp xếp các GPU theo một vòng logic: mỗi thiết bị giữ cố định các truy vấn cục bộ của nó trong khi các khối K/V được truyền từng bước một quanh vòng. Khi mỗi khối xuất hiện, GPU sẽ tính toán một phần sự chú ý và tích lũy kết quả bằng cách sử dụng online-softmax (thủ thuật tổng/tối đa đang chạy tương tự như FlashAttention). Sau một vòng lặp đầy đủ, mọi truy vấn đều được xử lý chính xác đến từng phím mà không có GPU nào lưu trữ toàn bộ K/V. Điều quan trọng là giao tiếp K/V trùng lặp với tính toán nên sẽ tăng thêm ít chi phí cho đồng hồ treo tường.
Hiểu biết kỹ thuật
Chú ý vòng dựa vào softmax trực tuyến: sự chú ý có thể được tính toán theo từng khối trong khi vẫn duy trì mức tối đa đang chạy và bộ chuẩn hóa đang chạy, sau đó định lại tỷ lệ tổng từng phần trước đó khi giá trị lớn hơn xuất hiện. Điều này làm cho kết quả về mặt toán học giống hệt với sự chú ý hoàn toàn. Vòng chỉ truyền các thang đo K/V (kích thước tỷ lệ theo khối chứ không phải toàn bộ chuỗi) và do giao tiếp của mỗi bước nhảy chồng lên matmul của khối trước đó nên băng thông - không phải bộ nhớ - trở thành yếu tố giới hạn.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của tính song song trình tự và sự chú ý đến vòng
Song song trình tự đang trở thành tiêu chuẩn cho việc đào tạo và suy luận theo ngữ cảnh dài, thường được kết hợp với song song tensor và đường ống thành bố cục song song '4D' hoặc '5D'. Các biến thể như sọc hoặc ngoằn ngoèo chú ý sẽ cân bằng lại công việc do che lấp nhân quả gây ra. Mong đợi các vòng nhận biết cấu trúc liên kết qua NVLink và tích hợp chặt chẽ hơn với tính năng giảm tải bộ đệm KV, đẩy độ dài ngữ cảnh thực tế lên tới hàng chục triệu mã thông báo để truy xuất, cơ sở mã và tài liệu dài.
Triển khai trong thế giới thực
Đào tạo LLM bối cảnh mã thông báo 1M bằng cách phân chia từng chuỗi trên 8 GPU bằng Ring Chú ý
Tính song song trình tự của Megatron-LM làm giảm bộ nhớ kích hoạt ở các vùng LayerNorm và vùng bỏ học
Xử lý toàn bộ sách hoặc kho lưu trữ mã lớn trong một lần chuyển tiếp mà không cần cắt bớt
Kết hợp Ring Chú ý với tính song song tensor để phù hợp với suy luận ngữ cảnh siêu dài trên nút nhiều GPU
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sequence Parallelism and Ring Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Tính song song của tenxơ cho các mô hình lớn
Câu hỏi thường gặp
What is Sequence Parallelism and Ring Attention?
Tính song song của trình tự phân chia một chuỗi đầu vào dài duy nhất trên nhiều GPU dọc theo thứ nguyên mã thông báo (thời gian) và Chú ý đến vòng cho phép các GPU đó tính toán sự chú ý chính xác bằng cách chuyển các khối khóa/giá trị xung quanh một vòng. Họ cùng nhau làm cho các cửa sổ ngữ cảnh hàng triệu mã thông báo trở nên khả thi mà không cần bất kỳ GPU nào nắm giữ toàn bộ chuỗi.
Sự song song của trình tự phân chia dữ liệu theo chiều nào?
Tính song song của trình tự sẽ phân chia một chuỗi duy nhất trên các GPU dọc theo trục mã thông báo/thời gian, do đó mỗi thiết bị sở hữu một đoạn mã thông báo liền kề.
Ring Chú ý chuyển giao gì giữa các GPU được sắp xếp trong một vòng?
Mỗi GPU giữ cố định các truy vấn cục bộ của nó và chuyển các khối khóa/giá trị theo từng bước một quanh vòng để cuối cùng mọi truy vấn đều nhìn thấy mọi khóa.
Kỹ thuật nào cho phép tính toán sự chú ý theo từng khối mà vẫn khớp chính xác với mức độ chú ý đầy đủ?
Softmax trực tuyến theo dõi tổng và mức tối đa đang chạy, thay đổi tỷ lệ các kết quả từng phần nếu cần, làm cho việc tính toán theo khối giống hệt về mặt số lượng với toàn bộ sự chú ý.
Tại sao Ring Chú ý không yêu cầu bất kỳ GPU nào để lưu trữ toàn bộ K/V?
Vì các khối K/V xuất hiện dần dần và mỗi GPU tích lũy một phần sự chú ý nên không có thiết bị nào cần toàn bộ khóa/giá trị được đặt trong bộ nhớ cùng một lúc.
Làm cách nào Ring Chú ý giúp hoạt động giao tiếp không bị chi phối trong thời gian chạy?
Giao tiếp K/V của mỗi bước nhảy bị chồng chéo với các phép nhân ma trận cho khối hiện tại, do đó thời gian truyền phần lớn bị ẩn sau quá trình tính toán.