Seldon Core και γραφήματα συμπερασμάτων
Το Seldon Core είναι μια πλατφόρμα ανοιχτού κώδικα για την ανάπτυξη μοντέλων μηχανικής εκμάθησης στο Kubernetes, με ένα χαρακτηριστικό χαρακτηριστικό: τα γραφήματα συμπερασμάτων.
Επισκόπηση
Instead of serving one isolated model, it lets you chain models, routers, combiners, and transformers into a single directed graph that runs as one deployable service.
Βαθιά κατάδυση
Πολλές περιπτώσεις πραγματικής χρήσης παραγωγής περιλαμβάνουν περισσότερες από μία κλήση μοντέλου. Μπορείτε να προεπεξεργαστείτε την είσοδο, να δρομολογήσετε ένα αίτημα σε ένα από τα πολλά μοντέλα, να εκτελέσετε ένα σύνολο και, στη συνέχεια, να επεξεργαστείτε εκ των υστέρων το αποτέλεσμα. Ο Seldon Core το εκφράζει ως ένα γράφημα συμπερασμάτων που ορίζεται σε ένα SeldonDeployment (ή, στην αρχιτεκτονική v2, μέσω του χειριστή Seldon Core και του MLServer). Το γράφημα είναι κατασκευασμένο από επαναχρησιμοποιήσιμους τύπους στοιχείων: ένα μοντέλο εξυπηρετεί προβλέψεις, ένας μετασχηματιστής τροποποιεί εισόδους ή εξόδους, ένας δρομολογητής αποφασίζει ποιο παιδί θα καλέσει (επιτρέποντας δοκιμές A/B και ληστές πολλαπλών όπλων) και ένα Combiner συγκεντρώνει εξόδους από πολλά μοντέλα για συναρμολόγηση. Το Seldon υποστηρίζει πολλά πλαίσια μέσω προσυσκευασμένων διακομιστών και προσαρμοσμένων περιτυλίξεων Python και εκθέτει πλούσιες μετρήσεις, κατανεμημένη ανίχνευση και αποσύνδεση ωφέλιμου φορτίου από το πλαίσιο για παρατηρησιμότητα και επεξήγηση.
Τεχνική διορατικότητα
Ένα γράφημα συμπερασμάτων είναι ένα κατευθυνόμενο άκυκλο γράφημα όπου κάθε κόμβος είναι μια μικρουπηρεσία με μια τυπική διεπαφή πρόβλεψης και ο ενορχηστρωτής του Seldon (ο ενορχηστρωτής/εκτελεστής υπηρεσίας) δρομολογεί ένα αίτημα μέσω του γραφήματος και συγχωνεύει απαντήσεις. Επειδή οι δρομολογητές μπορούν να εφαρμόσουν τη λογική ληστών πολλαπλών όπλων, η κυκλοφορία μπορεί να μετατοπιστεί προσαρμοστικά προς μοντέλα με καλύτερη απόδοση που βασίζονται σε ζωντανά σήματα ανταμοιβής. Το Seldon Core v2 αποσυνδέει το γράφημα από μεμονωμένους διακομιστές μοντέλων χρησιμοποιώντας το MLServer και το Open Inference Protocol, επιτρέποντας την εξυπηρέτηση πολλών μοντέλων και την υπερδέσμευση σε κοινόχρηστο υλικό.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Το μέλλον του πυρήνα του Seldon και τα γραφήματα συμπερασμάτων
Ο Seldon κινείται προς αρθρωτά, δεδομένα με επίκεντρο MLOps με σχεδιασμό αγωγών και ροής δεδομένων του Core v2, καθώς και πιο στενή σύζευξη με ανίχνευση μετατόπισης (Alibi Detect) και επεξήγηση (Alibi Explain). Καθώς τα LLM και τα πράκτορα συστήματα γίνονται σύνθετα γραφήματα ανάκτησης, μοντέλων και εργαλείων, η αφαίρεση γραφήματος συμπερασμάτων χαρτογραφείται φυσικά σε αυτές τις ροές εργασίας. Αναμένετε μεγαλύτερη έμφαση στην αποτελεσματικότητα της υπηρεσίας πολλαπλών μοντέλων, τη ροή και την τυποποιημένη παρατηρησιμότητα, έτσι ώστε τα πολύπλοκα συστήματα τεχνητής νοημοσύνης πολλαπλών βημάτων να παραμένουν εντοπιζόμενα και κυβερνήσιμα στην παραγωγή.
Υλοποίηση σε πραγματικό κόσμο
Ένας δανειστής συνδέει έναν μετασχηματιστή που κωδικοποιεί τα χαρακτηριστικά σε έναν κόμβο μοντέλου, και στη συνέχεια έναν μετασχηματιστή που διαμορφώνει τη βαθμολογία, όλα ως ένα SeldonDeployment.
Μια εταιρεία πολυμέσων χρησιμοποιεί έναν κόμβο δρομολογητή που εκτελεί ένα multi-armed bandit για να στείλει δυναμικά περισσότερη επισκεψιμότητα σε όποιο μοντέλο πρότασης κερδίζει υψηλότερη ανταμοιβή κλικ.
Μια ομάδα συνδυάζει τρία μοντέλα απάτης με έναν κόμβο Combiner που υπολογίζει τον μέσο όρο των βαθμολογιών τους πριν επιστρέψει μια μεμονωμένη απόφαση στον καλούντα.
Ένας εποπτευόμενος ασφαλιστής επισυνάπτει την καταγραφή ωφέλιμου φορτίου του Seldon και τις επεξηγήσεις του Alibi σε ένα γράφημα συμπερασμάτων, ώστε κάθε πρόβλεψη να μπορεί να εντοπιστεί και να εξηγηθεί για ελέγχους.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Seldon Core and Inference Graphs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
TensorRT και Inference Engines
Συχνές ερωτήσεις
What is Seldon Core and Inference Graphs?
Το Seldon Core είναι μια πλατφόρμα ανοιχτού κώδικα για την ανάπτυξη μοντέλων μηχανικής εκμάθησης στο Kubernetes, με ένα χαρακτηριστικό χαρακτηριστικό: τα γραφήματα συμπερασμάτων. Αντί να εξυπηρετεί ένα μεμονωμένο μοντέλο, σας επιτρέπει να συνδέσετε μοντέλα, δρομολογητές, συνδυαστές και μετασχηματιστές σε ένα ενιαίο κατευθυνόμενο γράφημα που εκτελείται ως μία υπηρεσία ανάπτυξης.
Ποιο είναι το καθοριστικό χαρακτηριστικό που διακρίνει τον Seldon Core από έναν διακομιστή ενός μοντέλου;
Το Seldon Core σάς επιτρέπει να συνθέσετε μοντέλα, δρομολογητές, συνδυαστές και μετασχηματιστές σε ένα ενιαίο γράφημα συμπερασμάτων που αναπτύσσεται ως μία υπηρεσία.
Ποιο στοιχείο γραφήματος Seldon αποφασίζει σε ποιον θυγατρικό κόμβο να στείλει ένα αίτημα, επιτρέποντας δοκιμές A/B;
Ένας δρομολογητής κατευθύνει αιτήματα σε ένα από τα παιδιά του και μπορεί να εφαρμόσει δοκιμές A/B ή ληστές πολλαπλών όπλων.
Ποιος τύπος συστατικού συγκεντρώνει εξόδους από πολλαπλά μοντέλα για συναρμολόγηση;
Ένας Combiner συγχωνεύει τις αποκρίσεις πολλαπλών θυγατρικών μοντέλων σε μια ενιαία έξοδο, με τον τρόπο που δημιουργούνται τα σύνολα.
Τι είδους δομή γραφήματος σχηματίζει ένα γράφημα συμπερασμάτων Seldon;
Τα γραφήματα συμπερασμάτων Seldon είναι κατευθυνόμενα ακυκλικά γραφήματα όπου κάθε κόμβος είναι μια μικρουπηρεσία με μια τυπική διεπαφή πρόβλεψης.
Στο Seldon Core v2, ποιος διακομιστής και ποιο πρωτόκολλο επιτρέπουν την εξυπηρέτηση πολλών μοντέλων σε όλο το γράφημα;
Το Core v2 αποσυνδέει το γράφημα από διακομιστές μοντέλων χρησιμοποιώντας MLServer και το Open Inference Protocol για προβολή πολλών μοντέλων.