VolgendeVolgende gids
Amazon SageMaker voor ML-workflows
Technisch
Technische GIDS
Apache Airflow is een open-sourceplatform voor het schrijven, plannen en monitoren van workflows als code.
Luister naar deze gidsAI-verteld · ~2 min
In machine learning it acts as the conductor that triggers data pipelines, retraining jobs, and batch predictions on a reliable schedule.
Airflow is in 2014 bij Airbnb gemaakt en is nu een Apache-project. De centrale abstractie ervan is de DAG: een gerichte acyclische grafiek van taken gedefinieerd in Python, waarbij randen de uitvoeringsvolgorde en afhankelijkheden bepalen. Een planner analyseert deze DAG's, beslist welke taken gereed zijn en stuurt ze naar uitvoerders en werknemers; een webinterface toont de uitvoeringsgeschiedenis, logboeken en taakstatus. Voor ML wordt Airflow veel gebruikt als orkestrator in plaats van als rekenmachine: het traint zelf geen modellen, maar activeert stappen zoals het extraheren van gegevens, het valideren ervan, het starten van een trainingstaak op Spark of een Kubernetes-pod en het implementeren van het resultaat. Operators en sensoren laten taken externe systemen aanroepen, op bestanden wachten of containers uitvoeren. De kracht ervan is betrouwbare planning, nieuwe pogingen, aanvullingen en duidelijk inzicht in complexe, op tijd gebaseerde pipelines.
Een mediabedrijf voert dagelijks een Airflow DAG uit die logbestanden over gebruikersbetrokkenheid ophaalt, een aanbevelingsmodel opnieuw traint en de weergavecache vernieuwt.
Een e-commerceteam gebruikt sensoren om te wachten tot het gegevensbestand van een leverancier in de cloudopslag belandt voordat een downstream-voorspellingstaak wordt gestart.
Een fintech-bedrijf plant batch-scoringstaken per uur, waarbij Airflow een containermodel activeert om verdachte transacties te markeren.
Een datateam gebruikt Airflow-aanvullingen om maanden aan historische gegevens opnieuw te verwerken via een nieuwe feature-engineering-pijplijn na een logische verandering.
Airflow 2.x en 3.x leggen de nadruk op een snellere planner, de TaskFlow API voor schonere Python-pijplijnen en databewuste planning waarbij DAG's worden geactiveerd op basis van dataset-updates in plaats van op vaste klokken. Verwacht voor ML een nauwere koppeling met functiewinkels en gebeurtenisgestuurde omscholing. Airflow positioneert zichzelf steeds meer als de orkestratielaag die gespecialiseerde tools als dbt, Spark en Kubeflow coördineert, in plaats van ermee te concurreren, waardoor zijn rol als planningsruggengraat van moderne data- en ML-stacks wordt versterkt.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Apache Airflow is een open-sourceplatform voor het schrijven, plannen en monitoren van workflows als code. Bij machinaal leren fungeert het als de dirigent die datapijplijnen, herscholingstaken en batchvoorspellingen volgens een betrouwbaar schema activeert.
Luchtstroomworkflows worden gedefinieerd als DAG's in Python, waarbij taken knooppunten zijn en randen de uitvoeringsvolgorde definiëren.
Airflow is een orkestrator: het activeert en coördineert stappen zoals gegevensextractie en trainingstaken in plaats van het zware rekenwerk zelf uit te voeren.
Sensoren zijn speciale operators die een workflow onderbreken totdat aan een voorwaarde is voldaan, zoals het landen van een bestand of het verschijnen van een partitie.
Met opvullen wordt een DAG uitgevoerd over eerdere intervallen, wat handig is voor het opnieuw verwerken van de geschiedenis na een wijziging in de pijplijnlogica.
The scheduler evaluates schedules and task eligibility. Upstream success is the default dependency condition, while configured trigger rules can change it.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Amazon SageMaker voor ML-workflows
Technisch