ΕπόμενοΕπόμενος οδηγός
Εικαστικές Επεξεργασίες για Μοντέλα Κώδικα
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
BentoML και Συσκευασία Μοντέλων
Το BentoML είναι ένα πλαίσιο Python ανοιχτού κώδικα που συσκευάζει εκπαιδευμένα μοντέλα μηχανικής εκμάθησης σε τυποποιημένες, αναπτύξιμες μονάδες που ονομάζονται «Bentos».
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It bridges the gap between a model sitting in a notebook and a production service that can actually serve predictions over an API.
Βαθιά κατάδυση
Όταν ένας επιστήμονας δεδομένων ολοκληρώσει την εκπαίδευση ενός μοντέλου, η εισαγωγή του στην παραγωγή συνήθως σημαίνει μη αυτόματη εγγραφή κώδικα εξυπηρέτησης, καρφίτσωμα εξαρτήσεων, δημιουργία εικόνας Docker και καλωδίωση ενός API. Η BentoML αυτοματοποιεί αυτό. Αποθηκεύετε ένα μοντέλο στον τοπικό του χώρο αποθήκευσης μοντέλων και, στη συνέχεια, ορίζετε μια κλάση Service με ένα τελικό σημείο API διακοσμημένο για τη διαχείριση συμπερασμάτων. Η εντολή 'bentoml build' συσκευάζει το μοντέλο, τον κώδικα Python, τις εκδόσεις εξάρτησης και τη διαμόρφωση χρόνου εκτέλεσης σε ένα αυτόνομο Bento με έκδοση. Από εκεί το 'bentoml containerize' παράγει μια εικόνα OCI Docker. Το BentoML υποστηρίζει σχεδόν κάθε πλαίσιο (PyTorch, TensorFlow, scikit-learn, XGBoost, Hugging Face Transformers, ONNX) και προσθέτει προσαρμοστική micro-batching, η οποία ομαδοποιεί αυτόματα τα εισερχόμενα αιτήματα για να μεγιστοποιήσει την απόδοση της GPU χωρίς να αλλάξει τον κώδικά σας.
Υλοποίηση σε πραγματικό κόσμο
Μια ομάδα ανίχνευσης απάτης αποθηκεύει ένα μοντέλο XGBoost στο κατάστημα BentoML και δημιουργεί ένα Bento που εκθέτει ένα τελικό σημείο /πρόβλεψη REST για να καλεί η υπηρεσία πληρωμών σε πραγματικό χρόνο.
Μια ομάδα πλατφόρμας ML χρησιμοποιεί το 'bentoml containerize' για να μετατρέψει ένα μοντέλο συναισθήματος Hugging Face σε εικόνα Docker που αναπτύσσεται στο εσωτερικό σύμπλεγμα Kubernetes.
Μια εκκίνηση εξυπηρετεί ένα βελτιστοποιημένο μοντέλο Llama με OpenLLM (χτισμένο σε BentoML), ροή διακριτικών σε μια διεπαφή συνομιλίας με προσαρμοστική παρτίδα διατηρώντας την GPU κορεσμένη.
Μια εταιρεία υπολογιστικής όρασης συσκευάζει έναν ταξινομητή εικόνας PyTorch με τη γραμμή προεπεξεργασίας του σε ένα Bento, έτσι ώστε οι ακριβείς μετασχηματισμοί που χρησιμοποιούνται στην εκπαίδευση να συνοδεύονται από το μοντέλο.
Το μέλλον της BentoML και της συσκευασίας μοντέλων
Η BentoML έχει κλίνει σκληρά στο μοντέλο μεγάλων γλωσσών και στην παραγωγική υπηρεσία AI, με το OpenLLM και το BentoCloud να προσφέρουν απαντήσεις διακριτικών ροής, αυτόματη κλιμάκωση και προγραμματισμό με επίγνωση της GPU. Αναμένετε στενότερη ενσωμάτωση με βελτιστοποιητές συμπερασμάτων, όπως το vLLM και το TensorRT-LLM, καλύτερη υποστήριξη για συστήματα σύνθετης τεχνητής νοημοσύνης πολλαπλών μοντέλων και πιο ομαλές διαδρομές από ένα πακέτο Bento σε ανάπτυξη GPU χωρίς διακομιστή. Καθώς οι ομάδες μετακινούνται από μεμονωμένα μοντέλα σε αγωγούς αντιπροσώπων, η BentoML τοποθετείται ως το στρώμα συσκευασίας και εξυπηρέτησης που συνδέει αυτά τα εξαρτήματα μεταξύ τους.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the BentoML and Model Packaging quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is BentoML and Model Packaging?
Το BentoML είναι ένα πλαίσιο Python ανοιχτού κώδικα που συσκευάζει εκπαιδευμένα μοντέλα μηχανικής εκμάθησης σε τυποποιημένες, αναπτύξιμες μονάδες που ονομάζονται «Bentos». Γεφυρώνει το χάσμα μεταξύ ενός μοντέλου που βρίσκεται σε ένα σημειωματάριο και μιας υπηρεσίας παραγωγής που μπορεί πραγματικά να εξυπηρετήσει προβλέψεις μέσω ενός API.
Ποια είναι η τυποποιημένη, αναπτυσσόμενη μονάδα που παράγει η BentoML;
Η BentoML συσκευάζει ένα μοντέλο, τον κώδικα, τις εξαρτήσεις και τις ρυθμίσεις χρόνου εκτέλεσης σε μια έκδοση, αυτόνομη μονάδα που ονομάζεται Bento.
Τι βελτιώνει κυρίως η προσαρμοστική μικρο-παρτίδα της BentoML;
Η προσαρμοστική παρτίδα ομαδοποιεί τα εισερχόμενα αιτήματα κατά το χρόνο εκτέλεσης για να κρατήσει τις GPU απασχολημένες και να μεγιστοποιήσει την απόδοση χωρίς αλλαγές κώδικα.
In BentoML 1.1’s Runner-based architecture, what handles compute-heavy model execution separately from API logic?
BentoML documentation describes Runners as the legacy 1.1 computation units that could execute separately; newer BentoML versions streamline services.
Ποια εντολή μετατρέπει ένα ενσωματωμένο Bento σε εικόνα OCI Docker;
Το 'bentoml containerize' παράγει μια τυπική εικόνα OCI/Docker από ένα Bento για ανάπτυξη.
Ποιο από αυτά είναι ένας βασικός λόγος που η BentoML ενσωματώνει εκδόσεις εξαρτήσεων σε ένα Bento;
Το καρφίτσωμα και η ενσωμάτωση του περιβάλλοντος καθιστά τη συσκευασμένη υπηρεσία αναπαραγώγιμη και συνεπή όπου κι αν εκτελείται.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα