Tiếp theoHướng dẫn tiếp theo
Đường ống kỹ thuật tính năng và phiên bản dữ liệu
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Mạng InfiniBand và RDMA
InfiniBand is a high-speed switched interconnect used in clusters, and RDMA supports direct transfers between registered memory buffers.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Offloaded bulk data movement can reduce CPU copying and kernel-path overhead; CPUs and software still configure, initiate and manage the communication.
Lặn sâu
Distributed AI training can spend substantial time moving gradients and other tensors between devices and servers. InfiniBand provides a switched fabric with RDMA support and link-level flow control. NDR denotes a 400 Gb/s link mode in the cited NVIDIA hardware documentation; application throughput and latency depend on messages, adapters, topology and workload. RDMA-capable adapters can move bulk data to registered buffers without the repeated host copying of a conventional path. This does not mean software or CPUs have no role: applications create communication objects, register buffers and post work. RoCE carries RDMA over Ethernet, with its own network-design requirements. Select and benchmark a fabric using the actual collective traffic, congestion and failure conditions.
Triển khai trong thế giới thực
Kết nối hàng nghìn GPU trong siêu máy tính AI để dữ liệu gradient di chuyển giữa các nút tính bằng micro giây trong quá trình đào tạo phân tán
Cho phép một máy chủ đọc trực tiếp bộ nhớ của máy chủ khác (RDMA) để tăng tốc các hệ thống tệp và cơ sở dữ liệu phân tán mà không cần sử dụng CPU
Chạy các hoạt động giảm toàn bộ NCCL trên InfiniBand để đồng bộ hóa trọng lượng mô hình trên cụm GPU
Sử dụng RoCE để truyền tải độ trễ thấp kiểu RDMA tới các mạng trung tâm dữ liệu Ethernet hiện có
Tương lai của mạng InfiniBand và RDMA
Interconnects and adapters continue to evolve, and vendors offer different bandwidth modes and offloads. Teams should compare measured throughput, latency, CPU work, congestion handling and reliability under their own workload. In-network reductions and closer accelerator integration may help particular configurations, but a headline link rate does not determine training performance by itself. Keep hardware, firmware and software versions with benchmark results.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the InfiniBand and RDMA Networking quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is InfiniBand and RDMA Networking?
InfiniBand is a high-speed switched interconnect used in clusters, and RDMA supports direct transfers between registered memory buffers. Offloaded bulk data movement can reduce CPU copying and kernel-path overhead; CPUs and software still configure, initiate and manage the communication.
What does an RDMA-capable bulk data path aim to reduce?
RDMA offloads data movement but software still sets up and manages communication.
How can an RDMA-capable InfiniBand data path reduce bulk-transfer overhead?
RDMA hardware can move data between prepared buffers with less repeated host copying and kernel-path work. Software still handles setup, registration, permissions, and completion processing.
NDR InfiniBand cung cấp khoảng bao nhiêu băng thông cho mỗi liên kết?
A four-lane NDR400 InfiniBand link is rated at 400 Gb/s. This link-rate figure does not guarantee an application’s effective transfer throughput.
Trong RDMA, 'cặp hàng đợi' dùng để làm gì?
Ứng dụng gửi yêu cầu công việc để gửi và nhận hàng đợi (cặp hàng đợi); bộ điều hợp kênh máy chủ đọc chúng và thực hiện truyền bộ nhớ trực tiếp.
RoCE là gì?
RoCE là viết tắt của RDMA qua Ethernet hội tụ, cho phép truyền bỏ qua hạt nhân, độ trễ thấp trên các loại vải Ethernet tiêu chuẩn thay vì InfiniBand nguyên gốc.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này