āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
Amazon SageMaker āļŠāļģāļŦāļĢāļąāļāđāļ§āļīāļĢāđāļāđāļāļĨāļ§āđ ML
āđāļāļāļāļīāļ
āļāļđāđāļĄāļ·āļāļāļēāļāđāļāļāļāļīāļ
Apache Airflow āđāļāđāļāđāļāļĨāļāļāļāļĢāđāļĄāđāļāđāļāđāļāļāļāļĢāđāļŠāļŠāļģāļŦāļĢāļąāļāļāļēāļĢāđāļāļĩāļĒāļ āļāļģāļŦāļāļāđāļ§āļĨāļē āđāļĨāļ°āļāļīāļāļāļēāļĄāđāļ§āļīāļĢāđāļāđāļāļĨāļ§āđāđāļāļĢāļđāļāđāļāļāđāļāđāļ
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
āđāļāđāļĄāļāļāļĩāļāđāļĨāļīāļĢāđāļāļāļīāļāļāļ°āļāļģāļŦāļāđāļēāļāļĩāđāđāļāđāļāļāļąāļ§āļāļģāļāļĩāđāđāļĢāļĩāļĒāļāđāļāđāđāļāļāđāđāļĨāļāđāļāđāļāļĄāļđāļĨ āļāļķāļāļāļāļĢāļĄāļāļēāļāđāļŦāļĄāđ āđāļĨāļ°āļāļēāļāļāļēāļĢāļāđāđāļāļāļāđāļāļēāļĄāļāļģāļŦāļāļāđāļ§āļĨāļēāļāļĩāđāđāļāļ·āđāļāļāļ·āļāđāļāđ
Airflow āļāđāļāļāļąāđāļāļāļķāđāļāļāļĩāđ Airbnb āđāļāļāļĩ 2014 āđāļĨāļ°āļāļąāļāļāļļāļāļąāļāđāļāđāļāđāļāļĢāļāļāļēāļĢ Apache āļŠāļīāđāļāļāļĩāđāđāļāđāļāļāļēāļĄāļāļĢāļĢāļĄāļŦāļĨāļąāļāļāļ·āļ DAG: āļāļĢāļēāļ Acyclic āđāļāļāļāļģāļāļąāļāļāļāļāļāļēāļāļāļĩāđāļāļģāļŦāļāļāđāļ Python āđāļāļĒāļāļĩāđ Edge āļāļģāļŦāļāļāļĨāļģāļāļąāļāļāļēāļĢāļāļģāđāļāļīāļāļāļēāļĢāđāļĨāļ°āļāļēāļĢāļāļķāđāļāļāđāļāļāļąāļ āļāļđāđāļāļąāļāļāļģāļŦāļāļāļāļēāļĢāļāļ°āđāļĒāļāļ§āļīāđāļāļĢāļēāļ°āļŦāđ DAG āđāļŦāļĨāđāļēāļāļĩāđ āļāļąāļāļŠāļīāļāđāļāļ§āđāļēāļāļēāļāđāļāļāļĢāđāļāļĄāđāļĨāđāļ§ āđāļĨāļ°āļŠāđāļāļāļēāļāđāļŦāļĨāđāļēāļāļąāđāļāđāļāļĒāļąāļāļāļđāđāļāļģāđāļāļīāļāļāļēāļĢāđāļĨāļ°āļāļāļąāļāļāļēāļ UI āļāļāđāļ§āđāļāļāļ°āđāļŠāļāļāļāļĢāļ°āļ§āļąāļāļīāļāļēāļĢāļāļģāļāļēāļ āļāļąāļāļāļķāļ āđāļĨāļ°āļŠāļāļēāļāļ°āļāļēāļ āļŠāļģāļŦāļĢāļąāļ ML āļāļąāđāļ Airflow āļāļđāļāđāļāđāļāļĒāđāļēāļāļāļ§āđāļēāļāļāļ§āļēāļāđāļāļāļēāļāļ°āļāļđāđāđāļĢāļĩāļĒāļāđāļĢāļĩāļĒāļāđāļāļāļāļĩāđāļāļ°āđāļāđāļāļāļĨāđāļāļāļēāļĢāļāļģāļāļ§āļ āđāļāļĒāđāļĄāđāđāļāđāļāļķāļāđāļĄāđāļāļĨāđāļāļ āđāļāđāđāļĢāļĩāļĒāļāđāļāđāļāļąāđāļāļāļāļāļāđāļēāļāđ āđāļāđāļ āļāļēāļĢāļāļķāļāļāđāļāļĄāļđāļĨ āļāļēāļĢāļāļĢāļ§āļāļŠāļāļāļāļ§āļēāļĄāļāļđāļāļāđāļāļ āđāļĢāļīāđāļĄāļāđāļāļāļēāļāļāļēāļĢāļāļķāļāļŠāļāļāļāļ Spark āļŦāļĢāļ·āļāļāđāļāļ Kubernetes āđāļĨāļ°āļāļĢāļąāļāđāļāđāļāļĨāļĨāļąāļāļāđ āļāļđāđāļāļāļīāļāļąāļāļīāļāļēāļāđāļĨāļ°āđāļāđāļāđāļāļāļĢāđāļāļāļļāļāļēāļāđāļŦāđāļāļēāļāđāļĢāļĩāļĒāļāđāļāđāļĢāļ°āļāļāļ āļēāļĒāļāļāļ āļĢāļāđāļāļĨāđ āļŦāļĢāļ·āļāđāļĢāļĩāļĒāļāđāļāđāļāļāļāđāļāļāđāļāļāļĢāđ āļāļļāļāđāļāđāļāļāļāļāļĄāļąāļāļāļ·āļāļāļēāļĢāļāļąāļāļāļģāļŦāļāļāļāļēāļĢāļāļĩāđāđāļāļ·āđāļāļāļ·āļāđāļāđ āļāļēāļĢāļĨāļāļāđāļŦāļĄāđ āļāļēāļĢāļāļāđāļāļ āđāļĨāļ°āļāļēāļĢāļĄāļāļāđāļŦāđāļāļāļĩāđāļāļąāļāđāļāļāđāļāđāļāļāđāđāļĨāļāđāļāļĩāđāļāļąāļāļāđāļāļāđāļĨāļ°āļāļīāļāļāļēāļĄāđāļ§āļĨāļē
āļāļĢāļīāļĐāļąāļāļŠāļ·āđāļāļāļģāđāļāļīāļāļāļēāļĢ Airflow DAG āļāļļāļāļ§āļąāļ āļāļķāđāļāļāļ°āļāļķāļāļāļąāļāļāļķāļāļāļēāļĢāļĄāļĩāļŠāđāļ§āļāļĢāđāļ§āļĄāļāļāļāļāļđāđāđāļāđ āļāļķāļāđāļĄāđāļāļĨāļāļģāđāļāļ°āļāļģāļāļĩāļāļāļĢāļąāđāļ āđāļĨāļ°āļĢāļĩāđāļāļĢāļāđāļāļāļāļēāļĢāđāļŦāđāļāļĢāļīāļāļēāļĢ
āļāļĩāļĄāļāļĩāļāļāļĄāđāļĄāļīāļĢāđāļāđāļāđāđāļāđāļāđāļāļāļĢāđāđāļāļ·āđāļāļĢāļāđāļŦāđāđāļāļĨāđāļāđāļāļĄāļđāļĨāļāļāļāļāļđāđāļāļēāļĒāļĨāļāđāļāļāļ·āđāļāļāļĩāđāđāļāđāļāļāđāļāļĄāļđāļĨāļāļāļāļĨāļēāļ§āļāđāļāđāļāļāļāļĩāđāļāļ°āđāļĢāļīāđāļĄāļāļēāļāļāļĒāļēāļāļĢāļāđāļāļēāļ§āļāđāļŠāļāļĢāļĩāļĄ
āļāļĢāļīāļĐāļąāļāļāļīāļāđāļāļāļāļģāļŦāļāļāđāļ§āļĨāļēāļāļēāļāđāļŦāđāļāļ°āđāļāļāđāļāđāļāļāļļāļāļĢāļēāļĒāļāļąāđāļ§āđāļĄāļāđāļāļĒāļāļĩāđ Airflow āļāļĢāļīāļāđāļāļāļĢāđāđāļĄāđāļāļĨāļāļāļāđāļāļāđāļāļāļĢāđāđāļāļ·āđāļāđāļāđāļāļāļļāļĢāļāļĢāļĢāļĄāļāļĩāđāļāđāļēāļŠāļāļŠāļąāļĒ
āļāļĩāļĄāļāđāļāļĄāļđāļĨāđāļāđāļāļēāļĢāļāļāđāļāļ Airflow āđāļāļ·āđāļāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļāđāļāļĄāļđāļĨāļāļĢāļ°āļ§āļąāļāļīāļŦāļĨāļēāļĒāđāļāļ·āļāļāļāļĩāļāļāļĢāļąāđāļāļāđāļēāļāđāļāļāđāđāļĨāļāđāļ§āļīāļĻāļ§āļāļĢāļĢāļĄāļāļĩāđāļāļāļĢāđāđāļŦāļĄāđāļŦāļĨāļąāļāļāļēāļāļāļēāļĢāđāļāļĨāļĩāđāļĒāļāđāļāļĨāļāļĨāļāļāļīāļ
Airflow 2.x āđāļĨāļ° 3.x āđāļāđāļāļāļąāļ§āļāļģāļŦāļāļāđāļ§āļĨāļēāļāļĩāđāđāļĢāđāļ§āļāļķāđāļ TaskFlow API āļŠāļģāļŦāļĢāļąāļāđāļāļāđāđāļĨāļāđ Python āļāļĩāđāļŠāļ°āļāļēāļāļāļ§āđāļē āđāļĨāļ°āļāļēāļĢāļāļģāļŦāļāļāđāļ§āļĨāļēāļāļĩāđāļĢāļąāļāļĢāļđāđāļāđāļāļĄāļđāļĨ āđāļāļĒāļāļĩāđ DAG āļāļ°āļāļĢāļīāļāđāļāļāļĢāđāļāļēāļĢāļāļąāļāđāļāļāļāļļāļāļāđāļāļĄāļđāļĨ āđāļāļāļāļĩāđāļāļ°āđāļāđāļāļāļēāļŽāļīāļāļēāļāļāļāļĩāđ āļŠāļģāļŦāļĢāļąāļ ML āļāļēāļāļ§āđāļēāļāļ°āļĄāļĩāļāļ§āļēāļĄāđāļāļ·āđāļāļĄāđāļĒāļāļāļĩāđāđāļāđāļāđāļāđāļāļĒāļīāđāļāļāļķāđāļāļāļąāļāļĢāđāļēāļāļāđāļēāļāļĩāđāļāļāļĢāđāđāļĨāļ°āļāļēāļĢāļāļķāļāļŠāļāļāđāļŦāļĄāđāļāļĩāđāļāļąāļāđāļāļĨāļ·āđāļāļāļāđāļ§āļĒāđāļŦāļāļļāļāļēāļĢāļāđ Airflow āļ§āļēāļāļāļģāđāļŦāļāđāļāļāļąāļ§āđāļāļāļĄāļēāļāļāļķāđāļāđāļāļāļēāļāļ°āđāļĨāđāļĒāļāļĢāđāļāļēāļĢāđāļĢāļĩāļĒāļāđāļĢāļĩāļĒāļāļāļĩāđāļāļĢāļ°āļŠāļēāļāđāļāļĢāļ·āđāļāļāļĄāļ·āļāļāļīāđāļĻāļĐāđāļāđāļ dbt, Spark āđāļĨāļ° Kubeflow āđāļāļāļāļĩāđāļāļ°āđāļāđāļāļāļąāļāļāļąāļāļāļ§āļāļĄāļąāļ āđāļāļĒāļāļĢāļ°āļŠāļēāļāļāļāļāļēāļāļāļāļāļĄāļąāļāđāļāļāļēāļāļ°āđāļāļāļŦāļĨāļąāļāđāļāļāļēāļĢāļāļģāļŦāļāļāļāļēāļĢāļēāļāđāļ§āļĨāļēāļāļāļāļāđāļāļĄāļđāļĨāļŠāļĄāļąāļĒāđāļŦāļĄāđāđāļĨāļ°āļŠāđāļāđāļ ML
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
Apache Airflow āđāļāđāļāđāļāļĨāļāļāļāļĢāđāļĄāđāļāđāļāđāļāļāļāļĢāđāļŠāļŠāļģāļŦāļĢāļąāļāļāļēāļĢāđāļāļĩāļĒāļ āļāļģāļŦāļāļāđāļ§āļĨāļē āđāļĨāļ°āļāļīāļāļāļēāļĄāđāļ§āļīāļĢāđāļāđāļāļĨāļ§āđāđāļāļĢāļđāļāđāļāļāđāļāđāļ āđāļāđāļĄāļāļāļĩāļāđāļĨāļīāļĢāđāļāļāļīāļāļāļ°āļāļģāļŦāļāđāļēāļāļĩāđāđāļāđāļāļāļąāļ§āļāļģāļāļĩāđāđāļĢāļĩāļĒāļāđāļāđāđāļāļāđāđāļĨāļāđāļāđāļāļĄāļđāļĨ āļāļķāļāļāļāļĢāļĄāļāļēāļāđāļŦāļĄāđ āđāļĨāļ°āļāļēāļāļāļēāļĢāļāđāđāļāļāļāđāļāļēāļĄāļāļģāļŦāļāļāđāļ§āļĨāļēāļāļĩāđāđāļāļ·āđāļāļāļ·āļāđāļāđ
āđāļ§āļīāļĢāđāļāđāļāļĨāļ§āđ Airflow āļāļđāļāļāļģāļŦāļāļāđāļāđāļ DAG āđāļ Python āđāļāļĒāļāļĩāđāļāļēāļāļāļ·āļāđāļŦāļāļāđāļĨāļ°āļāļāļāļāļ°āļāļģāļŦāļāļāļĨāļģāļāļąāļāļāļēāļĢāļāļģāđāļāļīāļāļāļēāļĢ
Airflow āđāļāđāļāļāļąāļ§āļāļĢāļ°āļŠāļēāļ: āļāļ°āļāļĢāļ°āļāļļāđāļāđāļĨāļ°āļāļĢāļ°āļŠāļēāļāļāļąāđāļāļāļāļāļāđāļēāļāđ āđāļāđāļ āļāļēāļĢāļāļķāļāļāđāļāļĄāļđāļĨāđāļĨāļ°āļāļēāļāļāļķāļāļāļāļĢāļĄ āđāļāļāļāļĩāđāļāļ°āđāļāđāļāļēāļĢāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļŦāļāļąāļāđ
āđāļāđāļāđāļāļāļĢāđāđāļāđāļāļāļąāļ§āļāļģāđāļāļīāļāļāļēāļĢāļāļīāđāļĻāļĐāļāļĩāđāļŦāļĒāļļāļāđāļ§āļīāļĢāđāļāđāļāļĨāļ§āđāļāļąāđāļ§āļāļĢāļēāļ§āļāļāļāļ§āđāļēāļāļ°āļāļĢāļāļāļēāļĄāđāļāļ·āđāļāļāđāļ āđāļāđāļ āđāļāļĨāđāļĨāļāļŦāļĢāļ·āļāļāļēāļĢāđāļāļīāļāļąāđāļāļāļĢāļēāļāļāļāļķāđāļ
āļāļēāļĢāļāļāđāļāļāļāļ°āļāļģāđāļāļīāļāļāļēāļĢ DAG āđāļāļāđāļ§āļāđāļ§āļĨāļēāļāļĩāđāļāđāļēāļāļĄāļē āļāļķāđāļāļĄāļĩāļāļĢāļ°āđāļĒāļāļāđāļŠāļģāļŦāļĢāļąāļāļāļēāļĢāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļāļĢāļ°āļ§āļąāļāļīāđāļŦāļĄāđāļŦāļĨāļąāļāļāļēāļāļāļēāļĢāđāļāļĨāļĩāđāļĒāļāđāļāļĨāļāļāļĢāļĢāļāļ°āđāļāļāđāđāļĨāļāđ
The scheduler evaluates schedules and task eligibility. Upstream success is the default dependency condition, while configured trigger rules can change it.
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
Amazon SageMaker āļŠāļģāļŦāļĢāļąāļāđāļ§āļīāļĢāđāļāđāļāļĨāļ§āđ ML
āđāļāļāļāļīāļ