InfiniBand και RDMA Networking
Το InfiniBand είναι μια διασύνδεση υψηλής ταχύτητας και χαμηλής καθυστέρησης που συνδέει διακομιστές και GPU σε συμπλέγματα τεχνητής νοημοσύνης και το RDMA επιτρέπει σε ένα μηχάνημα να διαβάζει ή να γράφει τη μνήμη του άλλου χωρίς να εμπλέκεται η CPU.
Επισκόπηση
Together they are the plumbing that keeps thousands of GPUs fed with data during large-model training.
Βαθιά κατάδυση
Όταν εκπαιδεύετε ένα μοντέλο σε χιλιάδες GPU, το δίκτυο γίνεται συχνά το σημείο συμφόρησης και όχι τα τσιπ. Το InfiniBand είναι ένα ύφασμα μεταγωγής που έχει κατασκευαστεί ειδικά για αυτό: προσφέρει εύρος ζώνης ανά σύνδεση σε εκατοντάδες gigabit ανά δευτερόλεπτο (το NDR τρέχει στα 400 Gb/s) και λανθάνουσα κατάσταση κλίμακας μικροδευτερόλεπτων. Το βασικό του κόλπο είναι η Remote Direct Memory Access (RDMA), η οποία μετακινεί δεδομένα απευθείας μεταξύ της μνήμης δύο κόμβων, παρακάμπτοντας τον πυρήνα του λειτουργικού συστήματος και τα αντίγραφα της CPU που επιβραδύνουν το συνηθισμένο TCP/IP. Αυτή η «παράκαμψη πυρήνα» απελευθερώνει τους κύκλους της CPU και μειώνει την καθυστέρηση. Το InfiniBand παρέχει επίσης έλεγχο ροής υλικού για ένα ύφασμα χωρίς απώλειες και οι Quantum switches της NVIDIA και οι προσαρμογείς ConnectX κυριαρχούν στους υπερυπολογιστές AI. Το RoCE (RDMA μέσω Converged Ethernet) φέρνει παρόμοια οφέλη RDMA στα δίκτυα Ethernet.
Τεχνική διορατικότητα
Το RDMA λειτουργεί μέσω ρημάτων και ζευγών ουρών. Μια εφαρμογή δημοσιεύει αιτήματα εργασίας για αποστολή και λήψη ουρών. ο προσαρμογέας δικτύου (το HCA) τα διαβάζει και μεταφέρει δεδομένα απευθείας σε προκαταχωρισμένες, καρφιτσωμένες περιοχές μνήμης στον απομακρυσμένο κεντρικό υπολογιστή. Επειδή το NIC χειρίζεται τη μεταφορά σε υλικό και ο πυρήνας του λειτουργικού συστήματος παρακάμπτεται, υπάρχουν μηδενικά αντίγραφα δεδομένων και δεν υπάρχουν διακοπές CPU ανά πακέτο για τη μαζική μεταφορά. Ο έλεγχος ροής με βάση το επίπεδο σύνδεσης της InfiniBand αποτρέπει την υπερχείλιση του buffer, καθιστώντας το ύφασμα χωρίς απώλειες χωρίς καταιγίδες αναμετάδοσης.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Το μέλλον της InfiniBand και της δικτύωσης RDMA
Το εύρος ζώνης συνεχίζει να αυξάνεται: Το XDR InfiniBand στοχεύει 800 Gb/s ανά σύνδεση, με χάρτες πορείας προς 1,6 Tb/s. Ο ανταγωνισμός εντείνεται καθώς η Κοινοπραξία Ultra Ethernet σχεδιάζει Ethernet που ταιριάζει με το InfiniBand για φόρτους εργασίας τεχνητής νοημοσύνης και καθώς η πληροφορική εντός δικτύου (SHARP) εκφορτώνει συλλογικά μαθηματικά στους ίδιους τους διακόπτες. Περιμένετε στενότερη ενσωμάτωση GPU-to-δίκτυο, οπτικές διασυνδέσεις για μείωση της ισχύος και υφάσματα κλιμακωτά σε ομάδες εκατοντάδων χιλιάδων επιταχυντών καθώς αναπτύσσονται τα συνοριακά μοντέλα.
Υλοποίηση σε πραγματικό κόσμο
Σύνδεση χιλιάδων GPU σε έναν υπερυπολογιστή τεχνητής νοημοσύνης, ώστε τα δεδομένα gradient να μετακινούνται μεταξύ κόμβων σε μικροδευτερόλεπτα κατά τη διάρκεια της κατανεμημένης εκπαίδευσης
Επιτρέποντας σε έναν διακομιστή να διαβάζει απευθείας τη μνήμη του άλλου (RDMA) για να επιταχύνει κατανεμημένα συστήματα αρχείων και βάσεις δεδομένων χωρίς επιβάρυνση CPU
Εκτέλεση λειτουργιών NCCL all-reduce μέσω InfiniBand για συγχρονισμό βαρών μοντέλων σε ένα σύμπλεγμα GPU
Χρήση RoCE για μεταφορά μεταφορών χαμηλής καθυστέρησης τύπου RDMA σε υπάρχοντα δίκτυα κέντρων δεδομένων Ethernet
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfiniBand and RDMA Networking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Διοχετεύσεις μηχανικής χαρακτηριστικών και έκδοση δεδομένων
Συχνές ερωτήσεις
What is InfiniBand and RDMA Networking?
Το InfiniBand είναι μια διασύνδεση υψηλής ταχύτητας και χαμηλής καθυστέρησης που συνδέει διακομιστές και GPU σε συμπλέγματα τεχνητής νοημοσύνης και το RDMA επιτρέπει σε ένα μηχάνημα να διαβάζει ή να γράφει τη μνήμη του άλλου χωρίς να εμπλέκεται η CPU. Μαζί είναι οι υδραυλικές εγκαταστάσεις που κρατούν χιλιάδες GPU τροφοδοτημένες με δεδομένα κατά τη διάρκεια της εκπαίδευσης μεγάλου μοντέλου.
Τι επιτρέπει βασικά το RDMA να κάνει ένας υπολογιστής;
Η Remote Direct Memory Access μετακινεί δεδομένα απευθείας μεταξύ της μνήμης δύο κόμβων, παρακάμπτοντας τον πυρήνα του λειτουργικού συστήματος και τα αντίγραφα της CPU, γεγονός που μειώνει τον λανθάνοντα χρόνο και ελευθερώνει τους κύκλους της CPU.
Γιατί το InfiniBand επιτυγχάνει πολύ χαμηλότερο λανθάνοντα χρόνο από το συνηθισμένο δίκτυο TCP/IP;
Οι προσαρμογείς InfiniBand μεταφέρουν δεδομένα απευθείας προς/από την καρφιτσωμένη μνήμη στο υλικό και παρακάμπτουν τον πυρήνα του λειτουργικού συστήματος, εξαλείφοντας τις διακοπές της CPU ανά πακέτο και τα αντίγραφα δεδομένων.
Τι περίπου εύρος ζώνης ανά σύνδεση παρέχει το NDR InfiniBand;
Το NDR (Next Data Rate) InfiniBand τρέχει στα 400 Gb/s ανά σύνδεσμο, με το XDR να στοχεύει 800 Gb/s στην επόμενη γενιά.
Στο RDMA, σε τι χρησιμοποιούνται τα «ζεύγη ουρών»;
Οι εφαρμογές δημοσιεύουν αιτήματα εργασίας για αποστολή και λήψη ουρών (ζεύγη ουρών). ο προσαρμογέας του κεντρικού καναλιού τα διαβάζει και εκτελεί τις άμεσες μεταφορές μνήμης.
Τι είναι το RoCE;
Το RoCE σημαίνει RDMA μέσω Converged Ethernet, επιτρέποντας χαμηλού χρόνου μεταφορές παράκαμψης πυρήνα σε τυπικά υφάσματα Ethernet αντί για εγγενές InfiniBand.