āļ„āļđāđˆāļĄāļ·āļ­āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„

Apache Airflow āļŠāļģāļŦāļĢāļąāļšāđ€āļ§āļīāļĢāđŒāļāđ‚āļŸāļĨāļ§āđŒ ML

Apache Airflow āđ€āļ›āđ‡āļ™āđāļžāļĨāļ•āļŸāļ­āļĢāđŒāļĄāđ‚āļ­āđ€āļžāđˆāļ™āļ‹āļ­āļĢāđŒāļŠāļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāđ€āļ‚āļĩāļĒāļ™ āļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļē āđāļĨāļ°āļ•āļīāļ”āļ•āļēāļĄāđ€āļ§āļīāļĢāđŒāļāđ‚āļŸāļĨāļ§āđŒāđƒāļ™āļĢāļđāļ›āđāļšāļšāđ‚āļ„āđ‰āļ”

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡ Apache Airflow āļŠāļģāļŦāļĢāļąāļšāđ€āļ§āļīāļĢāđŒāļāđ‚āļŸāļĨāļ§āđŒ ML
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

āđƒāļ™āđāļĄāļŠāļŠāļĩāļ™āđ€āļĨāļīāļĢāđŒāļ™āļ™āļīāļ‡āļˆāļ°āļ—āļģāļŦāļ™āđ‰āļēāļ—āļĩāđˆāđ€āļ›āđ‡āļ™āļ•āļąāļ§āļ™āļģāļ—āļĩāđˆāđ€āļĢāļĩāļĒāļāđƒāļŠāđ‰āđ„āļ›āļ›āđŒāđ„āļĨāļ™āđŒāļ‚āđ‰āļ­āļĄāļđāļĨ āļāļķāļāļ­āļšāļĢāļĄāļ‡āļēāļ™āđƒāļŦāļĄāđˆ āđāļĨāļ°āļ„āļēāļ”āļāļēāļĢāļ“āđŒāđāļšāļ—āļŠāđŒāļ•āļēāļĄāļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāļ—āļĩāđˆāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđ„āļ”āđ‰

āđ€āļˆāļēāļ°āļĨāļķāļ

Airflow āļāđˆāļ­āļ•āļąāđ‰āļ‡āļ‚āļķāđ‰āļ™āļ—āļĩāđˆ Airbnb āđƒāļ™āļ›āļĩ 2014 āđāļĨāļ°āļ›āļąāļˆāļˆāļļāļšāļąāļ™āđ€āļ›āđ‡āļ™āđ‚āļ„āļĢāļ‡āļāļēāļĢ Apache āļŠāļīāđˆāļ‡āļ—āļĩāđˆāđ€āļ›āđ‡āļ™āļ™āļēāļĄāļ˜āļĢāļĢāļĄāļŦāļĨāļąāļāļ„āļ·āļ­ DAG: āļāļĢāļēāļŸ Acyclic āđāļšāļšāļāļģāļāļąāļšāļ‚āļ­āļ‡āļ‡āļēāļ™āļ—āļĩāđˆāļāļģāļŦāļ™āļ”āđƒāļ™ Python āđ‚āļ”āļĒāļ—āļĩāđˆ Edge āļāļģāļŦāļ™āļ”āļĨāļģāļ”āļąāļšāļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāđāļĨāļ°āļāļēāļĢāļ‚āļķāđ‰āļ™āļ•āđˆāļ­āļāļąāļ™ āļœāļđāđ‰āļˆāļąāļ”āļāļģāļŦāļ™āļ”āļāļēāļĢāļˆāļ°āđāļĒāļāļ§āļīāđ€āļ„āļĢāļēāļ°āļŦāđŒ DAG āđ€āļŦāļĨāđˆāļēāļ™āļĩāđ‰ āļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ§āđˆāļēāļ‡āļēāļ™āđƒāļ”āļžāļĢāđ‰āļ­āļĄāđāļĨāđ‰āļ§ āđāļĨāļ°āļŠāđˆāļ‡āļ‡āļēāļ™āđ€āļŦāļĨāđˆāļēāļ™āļąāđ‰āļ™āđ„āļ›āļĒāļąāļ‡āļœāļđāđ‰āļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāđāļĨāļ°āļžāļ™āļąāļāļ‡āļēāļ™ UI āļšāļ™āđ€āļ§āđ‡āļšāļˆāļ°āđāļŠāļ”āļ‡āļ›āļĢāļ°āļ§āļąāļ•āļīāļāļēāļĢāļ—āļģāļ‡āļēāļ™ āļšāļąāļ™āļ—āļķāļ āđāļĨāļ°āļŠāļ–āļēāļ™āļ°āļ‡āļēāļ™ āļŠāļģāļŦāļĢāļąāļš ML āļ™āļąāđ‰āļ™ Airflow āļ–āļđāļāđƒāļŠāđ‰āļ­āļĒāđˆāļēāļ‡āļāļ§āđ‰āļēāļ‡āļ‚āļ§āļēāļ‡āđƒāļ™āļāļēāļ™āļ°āļœāļđāđ‰āđ€āļĢāļĩāļĒāļšāđ€āļĢāļĩāļĒāļ‡āđāļ—āļ™āļ—āļĩāđˆāļˆāļ°āđ€āļ›āđ‡āļ™āļāļĨāđ„āļāļāļēāļĢāļ„āļģāļ™āļ§āļ“ āđ‚āļ”āļĒāđ„āļĄāđˆāđ„āļ”āđ‰āļāļķāļāđ‚āļĄāđ€āļ”āļĨāđ€āļ­āļ‡ āđāļ•āđˆāđ€āļĢāļĩāļĒāļāđƒāļŠāđ‰āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļēāļ‡āđ† āđ€āļŠāđˆāļ™ āļāļēāļĢāļ”āļķāļ‡āļ‚āđ‰āļ­āļĄāļđāļĨ āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāļ„āļ§āļēāļĄāļ–āļđāļāļ•āđ‰āļ­āļ‡ āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļ‡āļēāļ™āļāļēāļĢāļāļķāļāļŠāļ­āļ™āļšāļ™ Spark āļŦāļĢāļ·āļ­āļžāđ‡āļ­āļ” Kubernetes āđāļĨāļ°āļ›āļĢāļąāļšāđƒāļŠāđ‰āļœāļĨāļĨāļąāļžāļ˜āđŒ āļœāļđāđ‰āļ›āļāļīāļšāļąāļ•āļīāļ‡āļēāļ™āđāļĨāļ°āđ€āļ‹āđ‡āļ™āđ€āļ‹āļ­āļĢāđŒāļ­āļ™āļļāļāļēāļ•āđƒāļŦāđ‰āļ‡āļēāļ™āđ€āļĢāļĩāļĒāļāđƒāļŠāđ‰āļĢāļ°āļšāļšāļ āļēāļĒāļ™āļ­āļ āļĢāļ­āđ„āļŸāļĨāđŒ āļŦāļĢāļ·āļ­āđ€āļĢāļĩāļĒāļāđƒāļŠāđ‰āļ„āļ­āļ™āđ€āļ—āļ™āđ€āļ™āļ­āļĢāđŒ āļˆāļļāļ”āđāļ‚āđ‡āļ‡āļ‚āļ­āļ‡āļĄāļąāļ™āļ„āļ·āļ­āļāļēāļĢāļˆāļąāļ”āļāļģāļŦāļ™āļ”āļāļēāļĢāļ—āļĩāđˆāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđ„āļ”āđ‰ āļāļēāļĢāļĨāļ­āļ‡āđƒāļŦāļĄāđˆ āļāļēāļĢāļ—āļ”āđāļ—āļ™ āđāļĨāļ°āļāļēāļĢāļĄāļ­āļ‡āđ€āļŦāđ‡āļ™āļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āđƒāļ™āđ„āļ›āļ›āđŒāđ„āļĨāļ™āđŒāļ—āļĩāđˆāļ‹āļąāļšāļ‹āđ‰āļ­āļ™āđāļĨāļ°āļ­āļīāļ‡āļ•āļēāļĄāđ€āļ§āļĨāļē

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

āļšāļĢāļīāļĐāļąāļ—āļŠāļ·āđˆāļ­āļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢ Airflow DAG āļ—āļļāļāļ§āļąāļ™ āļ‹āļķāđˆāļ‡āļˆāļ°āļ”āļķāļ‡āļšāļąāļ™āļ—āļķāļāļāļēāļĢāļĄāļĩāļŠāđˆāļ§āļ™āļĢāđˆāļ§āļĄāļ‚āļ­āļ‡āļœāļđāđ‰āđƒāļŠāđ‰ āļāļķāļāđ‚āļĄāđ€āļ”āļĨāļ„āļģāđāļ™āļ°āļ™āļģāļ­āļĩāļāļ„āļĢāļąāđ‰āļ‡ āđāļĨāļ°āļĢāļĩāđ€āļŸāļĢāļŠāđāļ„āļŠāļāļēāļĢāđƒāļŦāđ‰āļšāļĢāļīāļāļēāļĢ

āļ—āļĩāļĄāļ­āļĩāļ„āļ­āļĄāđ€āļĄāļīāļĢāđŒāļ‹āđƒāļŠāđ‰āđ€āļ‹āđ‡āļ™āđ€āļ‹āļ­āļĢāđŒāđ€āļžāļ·āđˆāļ­āļĢāļ­āđƒāļŦāđ‰āđ„āļŸāļĨāđŒāļ‚āđ‰āļ­āļĄāļđāļĨāļ‚āļ­āļ‡āļœāļđāđ‰āļ‚āļēāļĒāļĨāļ‡āđƒāļ™āļžāļ·āđ‰āļ™āļ—āļĩāđˆāđ€āļāđ‡āļšāļ‚āđ‰āļ­āļĄāļđāļĨāļšāļ™āļ„āļĨāļēāļ§āļ”āđŒāļāđˆāļ­āļ™āļ—āļĩāđˆāļˆāļ°āđ€āļĢāļīāđˆāļĄāļ‡āļēāļ™āļžāļĒāļēāļāļĢāļ“āđŒāļ”āļēāļ§āļ™āđŒāļŠāļ•āļĢāļĩāļĄ

āļšāļĢāļīāļĐāļąāļ—āļŸāļīāļ™āđ€āļ—āļ„āļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāļ‡āļēāļ™āđƒāļŦāđ‰āļ„āļ°āđāļ™āļ™āđ€āļ›āđ‡āļ™āļŠāļļāļ”āļĢāļēāļĒāļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ‚āļ”āļĒāļ—āļĩāđˆ Airflow āļ—āļĢāļīāļāđ€āļāļ­āļĢāđŒāđ‚āļĄāđ€āļ”āļĨāļ„āļ­āļ™āđ€āļ—āļ™āđ€āļ™āļ­āļĢāđŒāđ€āļžāļ·āđˆāļ­āđāļˆāđ‰āļ‡āļ˜āļļāļĢāļāļĢāļĢāļĄāļ—āļĩāđˆāļ™āđˆāļēāļŠāļ‡āļŠāļąāļĒ

āļ—āļĩāļĄāļ‚āđ‰āļ­āļĄāļđāļĨāđƒāļŠāđ‰āļāļēāļĢāļ—āļ”āđāļ—āļ™ Airflow āđ€āļžāļ·āđˆāļ­āļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāļ‚āđ‰āļ­āļĄāļđāļĨāļ›āļĢāļ°āļ§āļąāļ•āļīāļŦāļĨāļēāļĒāđ€āļ”āļ·āļ­āļ™āļ­āļĩāļāļ„āļĢāļąāđ‰āļ‡āļœāđˆāļēāļ™āđ„āļ›āļ›āđŒāđ„āļĨāļ™āđŒāļ§āļīāļĻāļ§āļāļĢāļĢāļĄāļŸāļĩāđ€āļˆāļ­āļĢāđŒāđƒāļŦāļĄāđˆāļŦāļĨāļąāļ‡āļˆāļēāļāļāļēāļĢāđ€āļ›āļĨāļĩāđˆāļĒāļ™āđāļ›āļĨāļ‡āļĨāļ­āļˆāļīāļ

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡ Apache Airflow āļŠāļģāļŦāļĢāļąāļšāđ€āļ§āļīāļĢāđŒāļāđ‚āļŸāļĨāļ§āđŒ ML

Airflow 2.x āđāļĨāļ° 3.x āđ€āļ™āđ‰āļ™āļ•āļąāļ§āļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāļ—āļĩāđˆāđ€āļĢāđ‡āļ§āļ‚āļķāđ‰āļ™ TaskFlow API āļŠāļģāļŦāļĢāļąāļšāđ„āļ›āļ›āđŒāđ„āļĨāļ™āđŒ Python āļ—āļĩāđˆāļŠāļ°āļ­āļēāļ”āļāļ§āđˆāļē āđāļĨāļ°āļāļēāļĢāļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāļ—āļĩāđˆāļĢāļąāļšāļĢāļđāđ‰āļ‚āđ‰āļ­āļĄāļđāļĨ āđ‚āļ”āļĒāļ—āļĩāđˆ DAG āļˆāļ°āļ—āļĢāļīāļāđ€āļāļ­āļĢāđŒāļāļēāļĢāļ­āļąāļ›āđ€āļ”āļ•āļŠāļļāļ”āļ‚āđ‰āļ­āļĄāļđāļĨ āđāļ—āļ™āļ—āļĩāđˆāļˆāļ°āđ€āļ›āđ‡āļ™āļ™āļēāļŽāļīāļāļēāļ„āļ‡āļ—āļĩāđˆ āļŠāļģāļŦāļĢāļąāļš ML āļ„āļēāļ”āļ§āđˆāļēāļˆāļ°āļĄāļĩāļ„āļ§āļēāļĄāđ€āļŠāļ·āđˆāļ­āļĄāđ‚āļĒāļ‡āļ—āļĩāđˆāđāļ™āđˆāļ™āđāļŸāđ‰āļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™āļāļąāļšāļĢāđ‰āļēāļ™āļ„āđ‰āļēāļŸāļĩāđ€āļˆāļ­āļĢāđŒāđāļĨāļ°āļāļēāļĢāļāļķāļāļŠāļ­āļ™āđƒāļŦāļĄāđˆāļ—āļĩāđˆāļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ”āđ‰āļ§āļĒāđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒ Airflow āļ§āļēāļ‡āļ•āļģāđāļŦāļ™āđˆāļ‡āļ•āļąāļ§āđ€āļ­āļ‡āļĄāļēāļāļ‚āļķāđ‰āļ™āđƒāļ™āļāļēāļ™āļ°āđ€āļĨāđ€āļĒāļ­āļĢāđŒāļāļēāļĢāđ€āļĢāļĩāļĒāļšāđ€āļĢāļĩāļĒāļ‡āļ—āļĩāđˆāļ›āļĢāļ°āļŠāļēāļ™āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āļžāļīāđ€āļĻāļĐāđ€āļŠāđˆāļ™ dbt, Spark āđāļĨāļ° Kubeflow āđāļ—āļ™āļ—āļĩāđˆāļˆāļ°āđāļ‚āđˆāļ‡āļ‚āļąāļ™āļāļąāļšāļžāļ§āļāļĄāļąāļ™ āđ‚āļ”āļĒāļ›āļĢāļ°āļŠāļēāļ™āļšāļ—āļšāļēāļ—āļ‚āļ­āļ‡āļĄāļąāļ™āđƒāļ™āļāļēāļ™āļ°āđāļāļ™āļŦāļĨāļąāļāđƒāļ™āļāļēāļĢāļāļģāļŦāļ™āļ”āļ•āļēāļĢāļēāļ‡āđ€āļ§āļĨāļēāļ‚āļ­āļ‡āļ‚āđ‰āļ­āļĄāļđāļĨāļŠāļĄāļąāļĒāđƒāļŦāļĄāđˆāđāļĨāļ°āļŠāđāļ•āđ‡āļ ML

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ”āđ‰āļēāļ™āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļ‡āļēāļ™āđ€āļ›āđ‡āļ™āđ€āļ§āļĨāļēāļŦāļĨāļēāļĒāļ›āļĩ
  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļāļēāļĢāļĻāļķāļāļĐāļēāļ”āđ‰āļēāļ™āđ€āļ—āļ„āļ™āļīāļ„āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ—āļĩāļĄāđ€āļĨāļ·āļ­āļāļāļĨāļļāđˆāļĄāļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄ āđ„āļĄāđˆāđƒāļŠāđˆāđāļ„āđˆāļāļĨāļļāđˆāļĄāđƒāļŦāļĄāđˆāļĨāđˆāļēāļŠāļļāļ”
  • āļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļ„āļļāļ“āļ āļēāļž. āļ•āļąāļ§āđ€āļĨāļ·āļ­āļāļ—āļēāļ‡āļ§āļīāļĻāļ§āļāļĢāļĢāļĄāļ—āļĩāđˆāļ”āļĩāļāļ§āđˆāļēāļˆāļ°āļŠāđˆāļ§āļĒāļĨāļ”āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ™āđˆāļēāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđƒāļ™āļāļēāļĢāļœāļĨāļīāļ•

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āļ‹āđˆāļ­āļ™āļˆāļļāļ”āļ­āđˆāļ­āļ™āļ‚āļ­āļ‡āļĢāļ°āļšāļšāđƒāļ™āļ§āļ‡āļāļ§āđ‰āļēāļ‡āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡āļžāļ·āđ‰āļ™āļāļēāļ™āđāļĨāļ°āļāļēāļĢāļšāļģāļĢāļļāļ‡āļĢāļąāļāļĐāļēāļĄāļąāļāļ–āļđāļāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ•āđˆāļģāđ„āļ›
  • āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ›āļĨāļ­āļ”āļ āļąāļĒāđāļĨāļ°āļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ™āļāļēāļĢāļŠāļąāļ‡āđ€āļāļ•āļŠāļēāļĄāļēāļĢāļ–āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļĢāļ°āļšāļšāļĄāļĩāļ„āļ§āļēāļĄāļ‹āļąāļšāļ‹āđ‰āļ­āļ™āļĄāļēāļāļ‚āļķāđ‰āļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāđ€āļ§āļĨāļēāđāļāļ‡ āļ„āļļāļ“āļ āļēāļž āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāđˆāļ­āļ™āļ™āļģāđ„āļ›āđƒāļŠāđ‰āļ‡āļēāļ™
  2. āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ āļēāļĒāđƒāļ•āđ‰āļŠāļ āļēāļ§āļ°āđ‚āļŦāļĨāļ”āđāļĨāļ°āļ‚āđ‰āļ­āļĄāļđāļĨāļˆāļĢāļīāļ‡
  3. āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļ·āđˆāļ­āļŦāļēāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” āļāļēāļĢāđ€āļšāļĩāđˆāļĒāļ‡āđ€āļšāļ™ āđāļĨāļ°āļœāļĨāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļœāļđāđ‰āđƒāļŠāđ‰
  4. āđ€āļ•āļĢāļĩāļĒāļĄāđ€āļŠāđ‰āļ™āļ—āļēāļ‡āļāļēāļĢāļĒāđ‰āļ­āļ™āļāļĨāļąāļšāđāļĨāļ°āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ•āđˆāļ­āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļāđˆāļ­āļ™āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Apache Airflow for ML Workflows quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

Apache Airflow āļŠāļģāļŦāļĢāļąāļšāđ€āļ§āļīāļĢāđŒāļāđ‚āļŸāļĨāļ§āđŒ ML āļ„āļ·āļ­āļ­āļ°āđ„āļĢ

Apache Airflow āđ€āļ›āđ‡āļ™āđāļžāļĨāļ•āļŸāļ­āļĢāđŒāļĄāđ‚āļ­āđ€āļžāđˆāļ™āļ‹āļ­āļĢāđŒāļŠāļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāđ€āļ‚āļĩāļĒāļ™ āļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļē āđāļĨāļ°āļ•āļīāļ”āļ•āļēāļĄāđ€āļ§āļīāļĢāđŒāļāđ‚āļŸāļĨāļ§āđŒāđƒāļ™āļĢāļđāļ›āđāļšāļšāđ‚āļ„āđ‰āļ” āđƒāļ™āđāļĄāļŠāļŠāļĩāļ™āđ€āļĨāļīāļĢāđŒāļ™āļ™āļīāļ‡āļˆāļ°āļ—āļģāļŦāļ™āđ‰āļēāļ—āļĩāđˆāđ€āļ›āđ‡āļ™āļ•āļąāļ§āļ™āļģāļ—āļĩāđˆāđ€āļĢāļĩāļĒāļāđƒāļŠāđ‰āđ„āļ›āļ›āđŒāđ„āļĨāļ™āđŒāļ‚āđ‰āļ­āļĄāļđāļĨ āļāļķāļāļ­āļšāļĢāļĄāļ‡āļēāļ™āđƒāļŦāļĄāđˆ āđāļĨāļ°āļ„āļēāļ”āļāļēāļĢāļ“āđŒāđāļšāļ—āļŠāđŒāļ•āļēāļĄāļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāļ—āļĩāđˆāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđ„āļ”āđ‰

āđƒāļ™ Apache Airflow āļ­āļ°āđ„āļĢāļ„āļ·āļ­āļŠāļīāđˆāļ‡āļ—āļĩāđˆāđ€āļ›āđ‡āļ™āļ™āļēāļĄāļ˜āļĢāļĢāļĄāļŦāļĨāļąāļāļ—āļĩāđˆāđƒāļŠāđ‰āđƒāļ™āļāļēāļĢāļāļģāļŦāļ™āļ”āđ€āļ§āļīāļĢāđŒāļāđ‚āļŸāļĨāļ§āđŒ

āđ€āļ§āļīāļĢāđŒāļāđ‚āļŸāļĨāļ§āđŒ Airflow āļ–āļđāļāļāļģāļŦāļ™āļ”āđ€āļ›āđ‡āļ™ DAG āđƒāļ™ Python āđ‚āļ”āļĒāļ—āļĩāđˆāļ‡āļēāļ™āļ„āļ·āļ­āđ‚āļŦāļ™āļ”āđāļĨāļ°āļ‚āļ­āļšāļˆāļ°āļāļģāļŦāļ™āļ”āļĨāļģāļ”āļąāļšāļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢ

Airflow āļĄāļĩāļšāļ—āļšāļēāļ—āļ­āļĒāđˆāļēāļ‡āđ„āļĢāđƒāļ™āđ„āļ›āļ›āđŒāđ„āļĨāļ™āđŒ ML āļĄāļēāļāļ—āļĩāđˆāļŠāļļāļ”

Airflow āđ€āļ›āđ‡āļ™āļ•āļąāļ§āļ›āļĢāļ°āļŠāļēāļ™: āļˆāļ°āļāļĢāļ°āļ•āļļāđ‰āļ™āđāļĨāļ°āļ›āļĢāļ°āļŠāļēāļ™āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļēāļ‡āđ† āđ€āļŠāđˆāļ™ āļāļēāļĢāļ”āļķāļ‡āļ‚āđ‰āļ­āļĄāļđāļĨāđāļĨāļ°āļ‡āļēāļ™āļāļķāļāļ­āļšāļĢāļĄ āđāļ—āļ™āļ—āļĩāđˆāļˆāļ°āđƒāļŠāđ‰āļāļēāļĢāļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāļŦāļ™āļąāļāđ†

āđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡ Airflow āđƒāļ”āļ—āļĩāđˆāđƒāļŠāđ‰āđƒāļ™āļāļēāļĢāļĢāļ­āļŠāļ āļēāļ§āļ°āļ āļēāļĒāļ™āļ­āļ āđ€āļŠāđˆāļ™ āđ„āļŸāļĨāđŒāļĄāļēāļ–āļķāļ‡āļ—āļĩāđˆāļˆāļąāļ”āđ€āļāđ‡āļšāļ‚āđ‰āļ­āļĄāļđāļĨ

āđ€āļ‹āđ‡āļ™āđ€āļ‹āļ­āļĢāđŒāđ€āļ›āđ‡āļ™āļ•āļąāļ§āļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļžāļīāđ€āļĻāļĐāļ—āļĩāđˆāļŦāļĒāļļāļ”āđ€āļ§āļīāļĢāđŒāļāđ‚āļŸāļĨāļ§āđŒāļŠāļąāđˆāļ§āļ„āļĢāļēāļ§āļˆāļ™āļāļ§āđˆāļēāļˆāļ°āļ•āļĢāļ‡āļ•āļēāļĄāđ€āļ‡āļ·āđˆāļ­āļ™āđ„āļ‚ āđ€āļŠāđˆāļ™ āđ„āļŸāļĨāđŒāļĨāļ‡āļŦāļĢāļ·āļ­āļžāļēāļĢāđŒāļ•āļīāļŠāļąāđˆāļ™āļ›āļĢāļēāļāļāļ‚āļķāđ‰āļ™

'āđ‚āļ†āļĐāļ“āļēāļ—āļ”āđāļ—āļ™' āļ‚āļ­āļ‡ Airflow āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ„āļļāļ“āļ—āļģāļ­āļ°āđ„āļĢāđ„āļ”āđ‰āļšāđ‰āļēāļ‡

āļāļēāļĢāļ—āļ”āđāļ—āļ™āļˆāļ°āļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢ DAG āđƒāļ™āļŠāđˆāļ§āļ‡āđ€āļ§āļĨāļēāļ—āļĩāđˆāļœāđˆāļēāļ™āļĄāļē āļ‹āļķāđˆāļ‡āļĄāļĩāļ›āļĢāļ°āđ‚āļĒāļŠāļ™āđŒāļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāļ›āļĢāļ°āļ§āļąāļ•āļīāđƒāļŦāļĄāđˆāļŦāļĨāļąāļ‡āļˆāļēāļāļāļēāļĢāđ€āļ›āļĨāļĩāđˆāļĒāļ™āđāļ›āļĨāļ‡āļ•āļĢāļĢāļāļ°āđ„āļ›āļ›āđŒāđ„āļĨāļ™āđŒ

Which Airflow component determines when eligible task instances should be scheduled?

The scheduler evaluates schedules and task eligibility. Upstream success is the default dependency condition, while configured trigger rules can change it.

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

Amazon SageMaker āļŠāļģāļŦāļĢāļąāļšāđ€āļ§āļīāļĢāđŒāļāđ‚āļŸāļĨāļ§āđŒ ML

āđ€āļ—āļ„āļ™āļīāļ„

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →