À suivreGuide suivant
Amazon SageMaker pour les flux de travail ML
Technique
GUIDE Technique
Apache Airflow pour les flux de travail ML
Apache Airflow est une plateforme open source pour la création, la planification et la surveillance de flux de travail sous forme de code.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Dans le machine learning, il agit comme un conducteur qui déclenche les pipelines de données, les tâches de recyclage et les prédictions par lots selon un calendrier fiable.
Plongée profonde
Airflow a été créé chez Airbnb en 2014 et est désormais un projet Apache. Son abstraction centrale est le DAG : un graphe acyclique dirigé de tâches définies en Python, où les bords définissent l'ordre d'exécution et les dépendances. Un planificateur analyse ces DAG, décide quelles tâches sont prêtes et les distribue aux exécuteurs testamentaires et aux travailleurs ; une interface utilisateur Web affiche l'historique d'exécution, les journaux et l'état des tâches. Pour le ML, Airflow est largement utilisé comme orchestrateur plutôt que comme moteur de calcul : il n'entraîne pas lui-même les modèles mais déclenche des étapes telles que l'extraction de données, leur validation, le lancement d'une tâche de formation sur Spark ou un pod Kubernetes et le déploiement du résultat. Les opérateurs et les capteurs permettent aux tâches d'appeler des systèmes externes, d'attendre des fichiers ou d'exécuter des conteneurs. Sa force réside dans la fiabilité de la planification, des tentatives, des remplissages et de la visibilité claire sur les pipelines complexes et temporels.
Mise en œuvre dans le monde réel
Une entreprise de médias exécute quotidiennement un DAG Airflow qui extrait les journaux d'engagement des utilisateurs, recycle un modèle de recommandation et actualise le cache de diffusion.
Une équipe de commerce électronique utilise des capteurs pour attendre que le fichier de données d'un fournisseur atterrisse dans le stockage cloud avant de lancer une tâche de prévision en aval.
Une entreprise de technologie financière planifie des tâches de notation par lots toutes les heures au cours desquelles Airflow déclenche un modèle conteneurisé pour signaler les transactions suspectes.
Une équipe de données utilise les remplissages Airflow pour retraiter des mois de données historiques via un nouveau pipeline d'ingénierie de fonctionnalités après un changement de logique.
L'avenir d'Apache Airflow pour les flux de travail ML
Airflow 2.x et 3.x mettent l'accent sur un planificateur plus rapide, l'API TaskFlow pour des pipelines Python plus propres et une planification tenant compte des données où les DAG se déclenchent sur les mises à jour des ensembles de données plutôt que sur des horloges fixes. Pour le ML, attendez-vous à un couplage plus étroit avec les magasins de fonctionnalités et le recyclage piloté par les événements. Airflow se positionne de plus en plus comme la couche d'orchestration qui coordonne les outils spécialisés tels que dbt, Spark et Kubeflow, plutôt que de les concurrencer, renforçant ainsi son rôle d'épine dorsale de planification des piles de données et de ML modernes.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Apache Airflow for ML Workflows quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu'est-ce qu'Apache Airflow pour les workflows ML ?
Apache Airflow est une plateforme open source pour la création, la planification et la surveillance de flux de travail sous forme de code. Dans le machine learning, il agit comme un conducteur qui déclenche les pipelines de données, les tâches de recyclage et les prédictions par lots selon un calendrier fiable.
Dans Apache Airflow, quelle est l'abstraction principale utilisée pour définir un workflow ?
Les workflows Airflow sont définis comme des DAG en Python, où les tâches sont des nœuds et les bords définissent l'ordre d'exécution.
Quel rôle Airflow joue-t-il le plus souvent dans un pipeline ML ?
Airflow est un orchestrateur : il déclenche et coordonne des étapes telles que l'extraction de données et les tâches de formation plutôt que d'effectuer lui-même le calcul lourd.
Quelle construction Airflow est utilisée pour attendre une condition externe, telle qu'un fichier arrivant en stockage ?
Les capteurs sont des opérateurs spéciaux qui interrompent un flux de travail jusqu'à ce qu'une condition soit remplie, comme l'arrivée d'un fichier ou l'apparition d'une partition.
Que permet un « remplissage » Airflow ?
Le remplissage exécute un DAG sur des intervalles passés, ce qui est utile pour retraiter l'historique après un changement de logique de pipeline.
Which Airflow component determines when eligible task instances should be scheduled?
The scheduler evaluates schedules and task eligibility. Upstream success is the default dependency condition, while configured trigger rules can change it.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet