Il prossimoProssima guida
Amazon SageMaker per flussi di lavoro ML
Tecnico
GUIDA TECNICA
Apache Airflow è una piattaforma open source per la creazione, la pianificazione e il monitoraggio dei flussi di lavoro come codice.
Ascolta questa guidaNarrato dall'IA · ~2 min
In machine learning it acts as the conductor that triggers data pipelines, retraining jobs, and batch predictions on a reliable schedule.
Airflow è stato creato presso Airbnb nel 2014 ed è ora un progetto Apache. La sua astrazione centrale è il DAG: un grafico aciclico diretto di attività definite in Python, dove i bordi impostano l'ordine di esecuzione e le dipendenze. Uno scheduler analizza questi DAG, decide quali attività sono pronte e le invia a esecutori e lavoratori; un'interfaccia utente Web mostra la cronologia delle esecuzioni, i registri e lo stato delle attività. Per il ML, Airflow è ampiamente utilizzato come orchestratore piuttosto che come motore di calcolo: non addestra i modelli in sé ma attiva passaggi come l'estrazione dei dati, la convalida, l'avvio di un processo di formazione su Spark o un pod Kubernetes e la distribuzione del risultato. Operatori e sensori consentono alle attività di chiamare sistemi esterni, attendere file o eseguire contenitori. I suoi punti di forza sono la pianificazione affidabile, i nuovi tentativi, i backfill e la chiara visibilità di pipeline complesse basate sul tempo.
Una società di media esegue un DAG Airflow giornaliero che estrae i registri di coinvolgimento degli utenti, riqualifica un modello di consigli e aggiorna la cache di servizio.
Un team di e-commerce utilizza sensori per attendere che il file di dati di un fornitore arrivi nell'archivio cloud prima di avviare un'attività di previsione a valle.
Un'azienda fintech pianifica lavori con punteggio batch orario in cui Airflow attiva un modello containerizzato per segnalare transazioni sospette.
Un team di dati utilizza i backfill di Airflow per rielaborare mesi di dati storici attraverso una nuova pipeline di ingegneria delle funzionalità dopo un cambiamento logico.
Airflow 2.xe 3.x enfatizzano uno scheduler più veloce, l'API TaskFlow per pipeline Python più pulite e una pianificazione basata sui dati in cui i DAG si attivano sugli aggiornamenti dei set di dati anziché su orologi fissi. Per il ML, ci si aspetta un accoppiamento più stretto con i feature store e una riqualificazione basata sugli eventi. Airflow si posiziona sempre più come il livello di orchestrazione che coordina strumenti specializzati come dbt, Spark e Kubeflow, piuttosto che competere con loro, consolidando il suo ruolo di spina dorsale di pianificazione dei dati moderni e degli stack ML.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Apache Airflow è una piattaforma open source per la creazione, la pianificazione e il monitoraggio dei flussi di lavoro come codice. Nell'apprendimento automatico funge da conduttore che attiva pipeline di dati, riqualificazione dei lavori e previsioni batch secondo una pianificazione affidabile.
I flussi di lavoro del flusso d'aria sono definiti come DAG in Python, dove le attività sono nodi e i bordi definiscono l'ordine di esecuzione.
Airflow è un orchestratore: attiva e coordina passaggi come l'estrazione dei dati e i lavori di training invece di eseguire direttamente il calcolo pesante.
I sensori sono operatori speciali che mettono in pausa un flusso di lavoro finché non viene soddisfatta una condizione, come l'arrivo di un file o la visualizzazione di una partizione.
Il backfill esegue un DAG negli intervalli passati, utile per rielaborare la cronologia dopo una modifica della logica della pipeline.
The scheduler evaluates schedules and task eligibility. Upstream success is the default dependency condition, while configured trigger rules can change it.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Amazon SageMaker per flussi di lavoro ML
Tecnico