ΕπόμενοΕπόμενος οδηγός
Amazon SageMaker for ML Workflows
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Apache Airflow για ML Workflows
Το Apache Airflow είναι μια πλατφόρμα ανοιχτού κώδικα για τη σύνταξη, τον προγραμματισμό και την παρακολούθηση ροών εργασίας ως κώδικα.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
In machine learning it acts as the conductor that triggers data pipelines, retraining jobs, and batch predictions on a reliable schedule.
Βαθιά κατάδυση
Το Airflow δημιουργήθηκε στην Airbnb το 2014 και τώρα είναι ένα έργο Apache. Η κεντρική του αφαίρεση είναι το DAG: ένα Κατευθυνόμενο Ακυκλικό Γράφημα εργασιών που ορίζονται στην Python, όπου οι ακμές ορίζουν τη σειρά εκτέλεσης και τις εξαρτήσεις. Ένας προγραμματιστής αναλύει αυτά τα DAG, αποφασίζει ποιες εργασίες είναι έτοιμες και τις αποστέλλει σε εκτελεστές και εργαζόμενους. μια διεπαφή ιστού εμφανίζει το ιστορικό εκτέλεσης, τα αρχεία καταγραφής και την κατάσταση εργασιών. Για το ML, το Airflow χρησιμοποιείται ευρέως ως ενορχηστρωτής και όχι ως υπολογιστική μηχανή: δεν εκπαιδεύει μόνο του τα μοντέλα, αλλά ενεργοποιεί βήματα όπως η εξαγωγή δεδομένων, η επικύρωσή τους, η έναρξη μιας εργασίας εκπαίδευσης στο Spark ή μια ομάδα Kubernetes και η ανάπτυξη του αποτελέσματος. Οι χειριστές και οι αισθητήρες επιτρέπουν στις εργασίες να καλούν εξωτερικά συστήματα, να περιμένουν αρχεία ή να εκτελούν κοντέινερ. Η δύναμή του είναι ο αξιόπιστος προγραμματισμός, οι επαναλήψεις, οι συμπληρώσεις και η καθαρή ορατότητα σε πολύπλοκους αγωγούς που βασίζονται στο χρόνο.
Υλοποίηση σε πραγματικό κόσμο
Μια εταιρεία πολυμέσων διαχειρίζεται ένα καθημερινό Airflow DAG που τραβάει αρχεία καταγραφής αφοσίωσης χρήστη, εκπαιδεύει εκ νέου ένα μοντέλο προτάσεων και ανανεώνει την κρυφή μνήμη προβολής.
Μια ομάδα ηλεκτρονικού εμπορίου χρησιμοποιεί αισθητήρες για να περιμένει το αρχείο δεδομένων ενός προμηθευτή να προσγειωθεί στο χώρο αποθήκευσης cloud πριν ξεκινήσει μια εργασία πρόβλεψης κατάντη.
Μια εταιρεία fintech προγραμματίζει ωριαίες εργασίες βαθμολογίας παρτίδας όπου το Airflow ενεργοποιεί ένα μοντέλο κοντέινερ για να επισημάνει ύποπτες συναλλαγές.
Μια ομάδα δεδομένων χρησιμοποιεί συμπληρώματα ροής αέρα για να επεξεργαστεί ξανά ιστορικά δεδομένα μηνών μέσω ενός νέου αγωγού σχεδιασμού χαρακτηριστικών μετά από μια αλλαγή λογικής.
Το μέλλον της ροής αέρα Apache για ροές εργασίας ML
Τα Airflow 2.x και 3.x δίνουν έμφαση σε έναν ταχύτερο χρονοπρογραμματιστή, στο TaskFlow API για καθαρότερες σωληνώσεις Python και στον προγραμματισμό με επίγνωση δεδομένων όπου τα DAG ενεργοποιούνται σε ενημερώσεις δεδομένων αντί για σταθερά ρολόγια. Για την ML, περιμένετε στενότερη σύζευξη με καταστήματα χαρακτηριστικών και επανεκπαίδευση βάσει εκδηλώσεων. Η ροή αέρα τοποθετείται όλο και περισσότερο ως το επίπεδο ενορχήστρωσης που συντονίζει εξειδικευμένα εργαλεία όπως το dbt, το Spark και το Kubeflow, αντί να τα ανταγωνίζεται, ενισχύοντας τον ρόλο του ως η ραχοκοκαλιά προγραμματισμού των σύγχρονων στοίβων δεδομένων και ML.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Apache Airflow for ML Workflows quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Apache Airflow for ML Workflows?
Το Apache Airflow είναι μια πλατφόρμα ανοιχτού κώδικα για τη σύνταξη, τον προγραμματισμό και την παρακολούθηση ροών εργασίας ως κώδικα. Στη μηχανική μάθηση λειτουργεί ως ο αγωγός που ενεργοποιεί αγωγούς δεδομένων, εργασίες επανεκπαίδευσης και προβλέψεις παρτίδων σε ένα αξιόπιστο χρονοδιάγραμμα.
Στο Apache Airflow, ποια είναι η βασική αφαίρεση που χρησιμοποιείται για τον καθορισμό μιας ροής εργασίας;
Οι ροές εργασίας ροής αέρα ορίζονται ως DAG στην Python, όπου οι εργασίες είναι κόμβοι και οι ακμές ορίζουν τη σειρά εκτέλεσης.
Τι ρόλο παίζει πιο συχνά το Airflow σε έναν αγωγό ML;
Η ροή αέρα είναι ένας ενορχηστρωτής: ενεργοποιεί και συντονίζει βήματα όπως εργασίες εξαγωγής δεδομένων και εκπαίδευσης αντί να κάνει τον ίδιο τον βαρύ υπολογισμό.
Ποιο κατασκεύασμα ροής αέρα χρησιμοποιείται για την αναμονή για μια εξωτερική κατάσταση, όπως ένα αρχείο που φτάνει στην αποθήκευση;
Οι αισθητήρες είναι ειδικοί τελεστές που διακόπτουν μια ροή εργασιών μέχρι να εκπληρωθεί μια συνθήκη, όπως μια προσγείωση αρχείου ή η εμφάνιση ενός διαμερίσματος.
Τι σας επιτρέπει να κάνετε μια «επικάλυψη» ροής αέρα;
Το Backfilling εκτελεί ένα DAG σε προηγούμενα διαστήματα, χρήσιμο για την επανεπεξεργασία του ιστορικού μετά από μια αλλαγή λογικής γραμμής.
Which Airflow component determines when eligible task instances should be scheduled?
The scheduler evaluates schedules and task eligibility. Upstream success is the default dependency condition, while configured trigger rules can change it.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα