ΕπόμενοΕπόμενος οδηγός
Core ML for On-Device Apple Deployment
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Πυρήνες τανυστή
Οι πυρήνες Tensor είναι εξειδικευμένες μονάδες υλικού μέσα σε σύγχρονες GPU της NVIDIA που εκτελούν λειτουργίες πολλαπλασιασμού και συσσώρευσης matrix εξαιρετικά γρήγορα.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.
Βαθιά κατάδυση
Τα Tensor Cores, που εισήχθησαν με την αρχιτεκτονική Volta το 2017, είναι αποκλειστικά κυκλώματα που υπολογίζουν έναν μικρό πολλαπλασιασμό μήτρας συν μια πρόσθεση (D = A x B + C) σε μία μόνο λειτουργία, αντί να πολλαπλασιάζονται κάθε φορά σε τυπικούς πυρήνες CUDA. Επειδή σχεδόν κάθε επίπεδο ενός νευρωνικού δικτύου μειώνεται σε πολλαπλασιασμούς μήτρας, αυτό ταιριάζει με τα μαθηματικά που χρειάζεται πραγματικά η τεχνητή νοημοσύνη. Κάθε γενιά GPU επέκτεινε αυτό που χειρίζεται: η Volta έκανε πλακίδια 4x4 FP16, ενώ αργότερα οι αρχιτεκτονικές Ampere, Hopper και Blackwell πρόσθεσαν μορφές χαμηλότερης ακρίβειας όπως TF32, BF16, INT8, FP8 και FP4. Χαμηλότερη ακρίβεια σημαίνει περισσότερους αριθμούς που υποβάλλονται σε επεξεργασία ανά ρολόι, ενισχύοντας δραματικά την απόδοση για εκπαίδευση και εξαγωγή συμπερασμάτων, διατηρώντας παράλληλα την ακρίβεια αποδεκτή.
Υλοποίηση σε πραγματικό κόσμο
Εκπαίδευση μοντέλων μεγάλων γλωσσών όπως μετασχηματιστές τύπου GPT, όπου δισεκατομμύρια πολλαπλασιασμοί μήτρας ανά βήμα εκτελούνται σε πυρήνες τανυστήρα σε BF16 ή FP8.
Εκτέλεση συμπερασμάτων σε πραγματικό χρόνο για chatbot και γεννήτριες εικόνων, χρησιμοποιώντας κβαντισμό INT8 ή FP8 για την εξυπηρέτηση περισσότερων χρηστών ανά GPU.
Επιτάχυνση του NVIDIA DLSS σε βιντεοπαιχνίδια, όπου ένα νευρωνικό δίκτυο αναβαθμίζει τα πλαίσια χαμηλότερης ανάλυσης χρησιμοποιώντας πυρήνες Tensor για κάθε καρέ.
Επιτάχυνση των επιστημονικών υπολογιστών, όπως η αναδίπλωση πρωτεϊνών (AlphaFold) και τα μοντέλα καιρού που έχουν αναδιαμορφωθεί ως νευρωνικοί φόρτοι εργασίας με βαρύ μήτρα.
Το μέλλον των πυρήνων Tensor
Οι πυρήνες Tensor συνεχίζουν να κινούνται προς ολοένα χαμηλότερη ακρίβεια: ο Hopper πρόσθεσε το FP8 και η Blackwell εισήγαγε το 4-bit FP4 με κλιμάκωση διαχειριζόμενη από υλικό, διπλασιάζοντας περίπου την απόδοση σε κάθε βήμα για βαρύ φόρτο εργασίας. Αναμένετε αυστηρότερη υποστήριξη για αραιότητα (παρακάμπτοντας μηδενικά βάρη), μορφές μικροκλιμάκωσης που προσαρτούν παράγοντες κλίμακας σε μικρά μπλοκ αριθμών και βαθύτερη ενοποίηση με συστήματα μνήμης, ώστε οι πυρήνες να τροφοδοτούνται. Καθώς τα μοντέλα μεγαλώνουν, ο κινητήρας matrix, όχι η ακατέργαστη ταχύτητα ρολογιού, παραμένει το κεντρικό πεδίο μάχης για την απόδοση υλικού AI.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Tensor Cores quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Tensor Cores?
Οι πυρήνες Tensor είναι εξειδικευμένες μονάδες υλικού μέσα σε σύγχρονες GPU της NVIDIA που εκτελούν λειτουργίες πολλαπλασιασμού και συσσώρευσης matrix εξαιρετικά γρήγορα. Είναι ο κύριος λόγος που μια μεμονωμένη GPU μπορεί να εκπαιδεύσει και να τρέξει μεγάλα νευρωνικά δίκτυα τάξεων μεγέθους πιο γρήγορα από ό,τι θα επέτρεπε ο υπολογισμός γενικής χρήσης.
Ποια βασική μαθηματική λειτουργία έχουν σχεδιαστεί ειδικά για την επιτάχυνση των Tensor Cores;
Οι πυρήνες τανυστή εκτελούν έναν πολλαπλασιασμό συντηγμένου πίνακα συν συσσώρευση σε ένα βήμα, η οποία είναι ακριβώς η λειτουργία που κυριαρχεί στα επίπεδα νευρωνικών δικτύων.
Ποια αρχιτεκτονική GPU NVIDIA εισήγαγε για πρώτη φορά τους Tensor Cores;
Το Tensor Cores έκανε το ντεμπούτο του με την αρχιτεκτονική Volta το 2017, ξεκινώντας με λειτουργίες matrix 4x4 FP16.
Γιατί οι πυρήνες Tensor χρησιμοποιούν συχνά μειωμένη ακρίβεια όπως το FP16 ή το FP8;
Η χρήση λιγότερων bit ανά αριθμό σημαίνει ότι ρέουν περισσότερες τιμές μέσω του υλικού σε κάθε κύκλο, αυξάνοντας σημαντικά την ταχύτητα με μια μικρή, συνήθως ανεκτή, απώλεια ακρίβειας.
Για να διατηρηθεί η ακρίβεια, ποια ακρίβεια χρησιμοποιούν συνήθως οι πυρήνες τανυστή για το τρέχον άθροισμα (συσσώρευση);
Οι είσοδοι μπορεί να είναι χαμηλής ακρίβειας, αλλά ο συσσωρευτής συνήθως λειτουργεί με υψηλότερη ακρίβεια όπως το FP32 για να περιορίσει τη συσσώρευση σφαλμάτων στρογγυλοποίησης.
Πώς χρησιμοποιούν τα καθημερινά πλαίσια τεχνητής νοημοσύνης όπως το PyTorch τους Tensor Cores;
Οι υποκείμενες βιβλιοθήκες διαχωρίζουν αυτόματα τις λειτουργίες μεγάλων μήτρας σε πλακίδια μεγέθους Tensor-Core, έτσι τα πλαίσια λαμβάνουν την επιτάχυνση χωρίς μη αυτόματη κωδικοποίηση.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα