DalšíDalší průvodce
Amazon SageMaker for ML Workflows
Technický
Technický PRŮVODCE
Apache Airflow je platforma s otevřeným zdrojovým kódem pro vytváření, plánování a monitorování pracovních postupů jako kódu.
Poslechněte si tento návodAI-vyprávěný · ~2 min
In machine learning it acts as the conductor that triggers data pipelines, retraining jobs, and batch predictions on a reliable schedule.
Airflow byl vytvořen na Airbnb v roce 2014 a nyní je projektem Apache. Jeho ústřední abstrakcí je DAG: řízený acyklický graf úloh definovaných v Pythonu, kde hrany nastavují pořadí provádění a závislosti. Plánovač analyzuje tyto DAGy, rozhodne, které úkoly jsou připraveny, a odešle je exekutorům a pracovníkům; webové uživatelské rozhraní zobrazuje historii běhu, protokoly a stav úlohy. Pro ML je Airflow široce používán jako orchestrátor spíše než výpočetní stroj: netrénuje samotné modely, ale spouští kroky, jako je extrahování dat, jejich ověření, zahájení tréninkové úlohy na Sparku nebo Kubernetes pod a nasazení výsledku. Operátoři a senzory umožňují úlohám volat externí systémy, čekat na soubory nebo spouštět kontejnery. Jeho předností je spolehlivé plánování, opakování, zásypy a jasná viditelnost do složitých, časově závislých potrubí.
Mediální společnost provozuje denní Airflow DAG, který stahuje protokoly o zapojení uživatelů, přeškoluje model doporučení a obnovuje mezipaměť poskytování.
Tým elektronického obchodu používá senzory k čekání, až datový soubor dodavatele přistane v cloudovém úložišti, než spustí navazující prognostickou úlohu.
Fintech firma naplánuje hodinové dávkové bodování, kde Airflow spustí kontejnerový model k označení podezřelých transakcí.
Datový tým používá zálohy Airflow k opětovnému zpracování měsíců historických dat prostřednictvím nového kanálu inženýrství funkcí po změně logiky.
Airflow 2.xa 3.x zdůrazňují rychlejší plánovač, TaskFlow API pro čistší Python pipeline a plánování s ohledem na data, kde se DAG spouštějí při aktualizacích datových sad spíše než pevné hodiny. U ML očekávejte těsnější propojení s obchody s funkcemi a rekvalifikací řízenou událostmi. Airflow se stále více umisťuje do role orchestrační vrstvy, která koordinuje specializované nástroje jako dbt, Spark a Kubeflow, spíše než aby s nimi konkuroval, čímž upevňuje svou roli plánovací páteře moderních datových a ML zásobníků.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Apache Airflow je platforma s otevřeným zdrojovým kódem pro vytváření, plánování a monitorování pracovních postupů jako kódu. Ve strojovém učení funguje jako vodič, který spouští datové kanály, rekvalifikační úlohy a dávkové predikce podle spolehlivého plánu.
Pracovní toky proudění vzduchu jsou v Pythonu definovány jako DAG, kde úkoly jsou uzly a hrany definují pořadí provádění.
Airflow je orchestrátor: spouští a koordinuje kroky, jako je extrakce dat a školení, spíše než samotné provádění náročných výpočtů.
Senzory jsou speciální operátory, které pozastaví pracovní postup, dokud není splněna podmínka, jako je přistání souboru nebo zobrazení oddílu.
Backfilling provádí DAG v minulých intervalech, což je užitečné pro opětovné zpracování historie po změně logiky potrubí.
The scheduler evaluates schedules and task eligibility. Upstream success is the default dependency condition, while configured trigger rules can change it.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Amazon SageMaker for ML Workflows
Technický