Mạng InfiniBand và RDMA
InfiniBand là kết nối tốc độ cao, độ trễ thấp liên kết các máy chủ và GPU trong cụm AI và RDMA cho phép một máy đọc hoặc ghi bộ nhớ của máy khác mà không cần đến CPU.
Tổng quan
Together they are the plumbing that keeps thousands of GPUs fed with data during large-model training.
Lặn sâu
Khi bạn huấn luyện một mô hình trên hàng nghìn GPU, mạng thường trở thành nút cổ chai chứ không phải chip. InfiniBand là một kết cấu chuyển mạch được thiết kế nhằm mục đích này: nó cung cấp băng thông trên mỗi liên kết ở mức hàng trăm gigabit/giây (NDR chạy ở tốc độ 400 Gb/s) và độ trễ ở quy mô micro giây. Bí quyết chính của nó là Truy cập bộ nhớ trực tiếp từ xa (RDMA), di chuyển dữ liệu trực tiếp giữa bộ nhớ của hai nút, bỏ qua nhân hệ điều hành và các bản sao CPU làm chậm TCP/IP thông thường. 'Bỏ qua hạt nhân' này giải phóng chu kỳ CPU và giảm độ trễ. InfiniBand cũng cung cấp khả năng kiểm soát luồng phần cứng cho kết cấu không bị mất dữ liệu và các công tắc Lượng tử của NVIDIA cùng với bộ điều hợp ConnectX thống trị các siêu máy tính AI. RoCE (RDMA qua Ethernet hội tụ) mang lại lợi ích RDMA tương tự cho mạng Ethernet.
Hiểu biết kỹ thuật
RDMA hoạt động thông qua các cặp động từ và hàng đợi. Một ứng dụng đăng các yêu cầu công việc để gửi và nhận hàng đợi; bộ điều hợp mạng (HCA) đọc chúng và truyền dữ liệu trực tiếp vào các vùng bộ nhớ được ghim và đăng ký trước trên máy chủ từ xa. Vì NIC xử lý việc truyền trong phần cứng và nhân hệ điều hành bị bỏ qua nên không có bản sao dữ liệu nào và không có sự gián đoạn CPU trên mỗi gói đối với quá trình truyền hàng loạt. Kiểm soát luồng dựa trên tín dụng lớp liên kết của InfiniBand ngăn chặn tình trạng tràn bộ đệm, giúp kết cấu không bị tổn thất mà không gặp phải các cơn bão truyền lại.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của mạng InfiniBand và RDMA
Băng thông tiếp tục tăng: XDR InfiniBand nhắm mục tiêu 800 Gb/s trên mỗi liên kết, với lộ trình hướng tới 1,6 Tb/s. Sự cạnh tranh ngày càng gay gắt khi Ultra Ethernet Consortium thiết kế Ethernet phù hợp với InfiniBand cho khối lượng công việc AI và khi điện toán trong mạng (SHARP) chuyển tải toán học tập thể vào chính các thiết bị chuyển mạch. Mong đợi sự tích hợp GPU với mạng chặt chẽ hơn, kết nối quang học để cắt giảm điện năng và kết cấu được mở rộng thành cụm hàng trăm nghìn máy gia tốc khi các mô hình tiên tiến phát triển.
Triển khai trong thế giới thực
Kết nối hàng nghìn GPU trong siêu máy tính AI để dữ liệu gradient di chuyển giữa các nút tính bằng micro giây trong quá trình đào tạo phân tán
Cho phép một máy chủ đọc trực tiếp bộ nhớ của máy chủ khác (RDMA) để tăng tốc các hệ thống tệp và cơ sở dữ liệu phân tán mà không cần sử dụng CPU
Chạy các hoạt động giảm toàn bộ NCCL trên InfiniBand để đồng bộ hóa trọng lượng mô hình trên cụm GPU
Sử dụng RoCE để truyền tải độ trễ thấp kiểu RDMA tới các mạng trung tâm dữ liệu Ethernet hiện có
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfiniBand and RDMA Networking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Đường ống kỹ thuật tính năng và phiên bản dữ liệu
Câu hỏi thường gặp
What is InfiniBand and RDMA Networking?
InfiniBand là kết nối tốc độ cao, độ trễ thấp liên kết các máy chủ và GPU trong cụm AI và RDMA cho phép một máy đọc hoặc ghi bộ nhớ của máy khác mà không cần đến CPU. Cùng với nhau, chúng là hệ thống cung cấp dữ liệu cho hàng nghìn GPU trong quá trình đào tạo mô hình lớn.
RDMA về cơ bản cho phép một máy tính làm gì?
Truy cập bộ nhớ trực tiếp từ xa di chuyển dữ liệu thẳng giữa bộ nhớ của hai nút, bỏ qua nhân hệ điều hành và các bản sao CPU, giúp giảm độ trễ và giải phóng chu kỳ CPU.
Tại sao InfiniBand đạt được độ trễ thấp hơn nhiều so với mạng TCP/IP thông thường?
Bộ điều hợp InfiniBand truyền dữ liệu trực tiếp đến/từ bộ nhớ được ghim trong phần cứng và bỏ qua nhân hệ điều hành, loại bỏ tình trạng ngắt CPU và sao chép dữ liệu trên mỗi gói.
NDR InfiniBand cung cấp khoảng bao nhiêu băng thông cho mỗi liên kết?
NDR (Tốc độ dữ liệu tiếp theo) InfiniBand chạy ở tốc độ 400 Gb/s trên mỗi liên kết, với XDR nhắm mục tiêu 800 Gb/s ở thế hệ tiếp theo.
Trong RDMA, 'cặp hàng đợi' dùng để làm gì?
Ứng dụng gửi yêu cầu công việc để gửi và nhận hàng đợi (cặp hàng đợi); bộ điều hợp kênh máy chủ đọc chúng và thực hiện truyền bộ nhớ trực tiếp.
RoCE là gì?
RoCE là viết tắt của RDMA qua Ethernet hội tụ, cho phép truyền bỏ qua hạt nhân, độ trễ thấp trên các loại vải Ethernet tiêu chuẩn thay vì InfiniBand nguyên gốc.