ΕπόμενοΕπόμενος οδηγός
TensorRT και Inference Engines
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Seldon Core και γραφήματα συμπερασμάτων
Το Seldon Core είναι μια πλατφόρμα ανοιχτού κώδικα για την ανάπτυξη μοντέλων μηχανικής εκμάθησης στο Kubernetes, με ένα χαρακτηριστικό χαρακτηριστικό: τα γραφήματα συμπερασμάτων.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Αντί να εξυπηρετεί ένα μεμονωμένο μοντέλο, σας επιτρέπει να συνδέσετε μοντέλα, δρομολογητές, συνδυαστές και μετασχηματιστές σε ένα ενιαίο κατευθυνόμενο γράφημα που εκτελείται ως μία υπηρεσία με δυνατότητα ανάπτυξης.
Βαθιά κατάδυση
Πολλές περιπτώσεις πραγματικής χρήσης παραγωγής περιλαμβάνουν περισσότερες από μία κλήση μοντέλου. Μπορείτε να προεπεξεργαστείτε την είσοδο, να δρομολογήσετε ένα αίτημα σε ένα από τα πολλά μοντέλα, να εκτελέσετε ένα σύνολο και, στη συνέχεια, να επεξεργαστείτε εκ των υστέρων το αποτέλεσμα. Ο Seldon Core το εκφράζει ως ένα γράφημα συμπερασμάτων που ορίζεται σε ένα SeldonDeployment (ή, στην αρχιτεκτονική v2, μέσω του χειριστή Seldon Core και του MLServer). Το γράφημα είναι κατασκευασμένο από επαναχρησιμοποιήσιμους τύπους στοιχείων: ένα μοντέλο εξυπηρετεί προβλέψεις, ένας μετασχηματιστής τροποποιεί εισόδους ή εξόδους, ένας δρομολογητής αποφασίζει ποιο παιδί θα καλέσει (επιτρέποντας δοκιμές A/B και ληστές πολλαπλών όπλων) και ένα Combiner συγκεντρώνει εξόδους από πολλά μοντέλα για συναρμολόγηση. Το Seldon υποστηρίζει πολλά πλαίσια μέσω προσυσκευασμένων διακομιστών και προσαρμοσμένων περιτυλίξεων Python και εκθέτει πλούσιες μετρήσεις, κατανεμημένη ανίχνευση και αποσύνδεση ωφέλιμου φορτίου από το πλαίσιο για παρατηρησιμότητα και επεξήγηση.
Υλοποίηση σε πραγματικό κόσμο
Ένας δανειστής συνδέει έναν μετασχηματιστή που κωδικοποιεί τα χαρακτηριστικά σε έναν κόμβο μοντέλου, και στη συνέχεια έναν μετασχηματιστή που διαμορφώνει τη βαθμολογία, όλα ως ένα SeldonDeployment.
Μια εταιρεία πολυμέσων χρησιμοποιεί έναν κόμβο δρομολογητή που εκτελεί ένα multi-armed bandit για να στείλει δυναμικά περισσότερη επισκεψιμότητα σε όποιο μοντέλο πρότασης κερδίζει υψηλότερη ανταμοιβή κλικ.
Μια ομάδα συνδυάζει τρία μοντέλα απάτης με έναν κόμβο Combiner που υπολογίζει τον μέσο όρο των βαθμολογιών τους πριν επιστρέψει μια μεμονωμένη απόφαση στον καλούντα.
Ένας εποπτευόμενος ασφαλιστής επισυνάπτει την καταγραφή ωφέλιμου φορτίου του Seldon και τις επεξηγήσεις του Alibi σε ένα γράφημα συμπερασμάτων, ώστε κάθε πρόβλεψη να μπορεί να εντοπιστεί και να εξηγηθεί για ελέγχους.
Το μέλλον του πυρήνα του Seldon και τα γραφήματα συμπερασμάτων
Ο Seldon κινείται προς αρθρωτά, δεδομένα με επίκεντρο MLOps με σχεδιασμό αγωγών και ροής δεδομένων του Core v2, καθώς και πιο στενή σύζευξη με ανίχνευση μετατόπισης (Alibi Detect) και επεξήγηση (Alibi Explain). Καθώς τα LLM και τα πράκτορα συστήματα γίνονται σύνθετα γραφήματα ανάκτησης, μοντέλων και εργαλείων, η αφαίρεση γραφήματος συμπερασμάτων χαρτογραφείται φυσικά σε αυτές τις ροές εργασίας. Αναμένετε μεγαλύτερη έμφαση στην αποτελεσματικότητα της υπηρεσίας πολλαπλών μοντέλων, τη ροή και την τυποποιημένη παρατηρησιμότητα, έτσι ώστε τα πολύπλοκα συστήματα τεχνητής νοημοσύνης πολλαπλών βημάτων να παραμένουν εντοπιζόμενα και κυβερνήσιμα στην παραγωγή.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Seldon Core and Inference Graphs quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι το Seldon Core and Inference Graphs;
Το Seldon Core είναι μια πλατφόρμα ανοιχτού κώδικα για την ανάπτυξη μοντέλων μηχανικής εκμάθησης στο Kubernetes, με ένα χαρακτηριστικό χαρακτηριστικό: τα γραφήματα συμπερασμάτων. Αντί να εξυπηρετεί ένα μεμονωμένο μοντέλο, σας επιτρέπει να συνδέσετε μοντέλα, δρομολογητές, συνδυαστές και μετασχηματιστές σε ένα ενιαίο κατευθυνόμενο γράφημα που εκτελείται ως μία υπηρεσία ανάπτυξης.
Ποιο είναι το καθοριστικό χαρακτηριστικό που διακρίνει τον Seldon Core από έναν διακομιστή ενός μοντέλου;
Το Seldon Core σάς επιτρέπει να συνθέσετε μοντέλα, δρομολογητές, συνδυαστές και μετασχηματιστές σε ένα ενιαίο γράφημα συμπερασμάτων που αναπτύσσεται ως μία υπηρεσία.
Ποιο στοιχείο γραφήματος Seldon αποφασίζει σε ποιον θυγατρικό κόμβο να στείλει ένα αίτημα, επιτρέποντας δοκιμές A/B;
Ένας δρομολογητής κατευθύνει αιτήματα σε ένα από τα παιδιά του και μπορεί να εφαρμόσει δοκιμές A/B ή ληστές πολλαπλών όπλων.
Ποιος τύπος συστατικού συγκεντρώνει εξόδους από πολλαπλά μοντέλα για συναρμολόγηση;
Ένας Combiner συγχωνεύει τις αποκρίσεις πολλαπλών θυγατρικών μοντέλων σε μια ενιαία έξοδο, με τον τρόπο που δημιουργούνται τα σύνολα.
Τι είδους δομή γραφήματος σχηματίζει ένα γράφημα συμπερασμάτων Seldon;
Τα γραφήματα συμπερασμάτων Seldon είναι κατευθυνόμενα ακυκλικά γραφήματα όπου κάθε κόμβος είναι μια μικρουπηρεσία με μια τυπική διεπαφή πρόβλεψης.
Στο Seldon Core v2, ποιος διακομιστής και ποιο πρωτόκολλο επιτρέπουν την εξυπηρέτηση πολλών μοντέλων σε όλο το γράφημα;
Το Core v2 αποσυνδέει το γράφημα από διακομιστές μοντέλων χρησιμοποιώντας MLServer και το Open Inference Protocol για προβολή πολλών μοντέλων.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα