LegközelebbKövetkező útmutató
Amazon SageMaker for ML Workflows
Műszaki
Műszaki ÚTMUTATÓ
Az Apache Airflow egy nyílt forráskódú platform a munkafolyamatok kódként történő létrehozásához, ütemezéséhez és figyeléséhez.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
In machine learning it acts as the conductor that triggers data pipelines, retraining jobs, and batch predictions on a reliable schedule.
Az Airflow-t 2014-ben hozták létre az Airbnb-nél, és ma Apache projekt. Központi absztrakciója a DAG: a Pythonban definiált feladatok irányított aciklikus gráfja, ahol az élek a végrehajtási sorrendet és a függőségeket állítják be. Az ütemező elemzi ezeket a DAG-okat, eldönti, hogy mely feladatok állnak készen, és elküldi azokat a végrehajtóknak és a dolgozóknak; a webes felhasználói felület megjeleníti a futási előzményeket, a naplókat és a feladatok állapotát. Az ML esetében az Airflow-t széles körben használják hangszerelőként, nem pedig számítási motorként: nem maga képezi ki a modelleket, hanem olyan lépéseket indít el, mint az adatok kinyerése, érvényesítése, a Sparkon vagy a Kubernetes podokon végzett képzési munka elindítása és az eredmény telepítése. Az operátorok és az érzékelők lehetővé teszik, hogy a feladatok külső rendszereket hívjanak meg, várjanak a fájlokra, vagy tárolókat fussanak. Erőssége a megbízható ütemezés, az újrapróbálkozások, a háttérkitöltések és az összetett, időalapú folyamatok egyértelmű áttekinthetősége.
Egy médiacég napi Airflow DAG-t futtat, amely lekéri a felhasználói elköteleződési naplókat, áttanul egy ajánlási modellt, és frissíti a kiszolgálási gyorsítótárat.
Egy e-kereskedelmi csapat érzékelők segítségével várja meg, amíg a szállító adatfájlja a felhőtárolóban landol, mielőtt elindítaná az előrejelzési feladatot.
Egy fintech cég óránként kötegelt pontozási munkákat ütemez, ahol az Airflow elindít egy konténeres modellt a gyanús tranzakciók megjelölésére.
Egy adatcsapat az Airflow háttérkitöltéseket használja a több hónapos előzményadatok újrafeldolgozására egy új funkciótervezési folyamaton keresztül egy logikai változás után.
Az Airflow 2.x és 3.x kiemeli a gyorsabb ütemezőt, a TaskFlow API-t a tisztább Python-folyamatokhoz, és az adattudatos ütemezést, ahol a DAG-ok az adatkészlet-frissítéseket aktiválják, nem pedig a rögzített órákat. Az ML esetében szorosabb kapcsolódásra számítson a szolgáltatástárakkal és az eseményvezérelt átképzéssel. Az Airflow egyre inkább olyan hangszerelési rétegként pozicionálja magát, amely olyan speciális eszközöket koordinál, mint a dbt, a Spark és a Kubeflow, ahelyett, hogy versenyezne velük, megerősítve szerepét a modern adatok és ML-veremek ütemezési gerinceként.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az Apache Airflow egy nyílt forráskódú platform a munkafolyamatok kódként történő létrehozásához, ütemezéséhez és figyeléséhez. A gépi tanulás során olyan vezetőként működik, amely megbízható ütemezés szerint indítja el az adatfolyamokat, az átképzési feladatokat és a kötegelt előrejelzéseket.
Az Airflow munkafolyamatokat DAG-ként határozzák meg a Pythonban, ahol a feladatok csomópontok, az élek pedig a végrehajtási sorrendet határozzák meg.
Az Airflow irányító: olyan lépéseket indít el és koordinál, mint az adatkinyerés és a betanítási feladatok, ahelyett, hogy maga végezné el a nehéz számításokat.
Az érzékelők speciális operátorok, amelyek szüneteltetnek egy munkafolyamatot, amíg egy feltétel teljesül, például egy fájl landolása vagy egy partíció megjelenése.
A háttérkitöltés egy DAG-t hajt végre a múltbeli időközökben, ami hasznos az előzmények újrafeldolgozásához a folyamat logikájának megváltoztatása után.
The scheduler evaluates schedules and task eligibility. Upstream success is the default dependency condition, while configured trigger rules can change it.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Amazon SageMaker for ML Workflows
Műszaki