Apache Airflow لسير عمل ML
Apache Airflow عبارة عن منصة مفتوحة المصدر لتأليف وجدولة ومراقبة سير العمل كرمز.
نظرة عامة
In machine learning it acts as the conductor that triggers data pipelines, retraining jobs, and batch predictions on a reliable schedule.
الغوص العميق
تم إنشاء Airflow في Airbnb في عام 2014 وهو الآن مشروع Apache. تجريدها المركزي هو DAG: رسم بياني دوري موجه للمهام المحددة في بايثون، حيث تحدد الحواف ترتيب التنفيذ والتبعيات. يقوم المجدول بتحليل هذه DAGs، ويقرر المهام الجاهزة، ويرسلها إلى المنفذين والعاملين؛ تعرض واجهة مستخدم الويب محفوظات التشغيل والسجلات وحالة المهمة. بالنسبة إلى تعلم الآلة، يتم استخدام Airflow على نطاق واسع كمنسق بدلاً من محرك حسابي: فهو لا يقوم بتدريب النماذج نفسها ولكنه يطلق خطوات مثل استخراج البيانات، والتحقق من صحتها، وبدء مهمة تدريبية على Spark أو Kubernetes pod، ونشر النتيجة. يسمح المشغلون وأجهزة الاستشعار للمهام باستدعاء الأنظمة الخارجية أو انتظار الملفات أو تشغيل الحاويات. تكمن قوتها في الجدولة التي يمكن الاعتماد عليها، وإعادة المحاولة، وعمليات الردم، والرؤية الواضحة لخطوط الأنابيب المعقدة المستندة إلى الوقت.
البصيرة الفنية
إن Airflow DAG هو مجرد كود Python، لذلك يتم التعبير عن التبعيات برمجيًا باستخدام عوامل تشغيل مقيدة بتركيبة bitshift أو واجهات برمجة تطبيقات المهام. يقوم المجدول بتقييم الفاصل الزمني لجدول DAG وتبعيات المهام بشكل مستمر، ووضع قائمة الانتظار فقط للمهام التي نجحت تبعياتها الأولية. يقوم المنفذون مثل Celery أو Kubernetes بتشغيل هذه المهام على العمال الموزعين. يتم تعقب كل مهمة يتم تشغيلها باستخدام الحالة والسجلات ومنطق إعادة المحاولة، ويتم تخزين البيانات التعريفية في قاعدة بيانات داعمة من أجل إمكانية التدقيق الكامل.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل تدفق هواء Apache لسير عمل تعلم الآلة
يؤكد الإصداران 2.x و3.x من Airflow على جدولة أسرع، وواجهة برمجة تطبيقات TaskFlow لخطوط أنابيب Python الأكثر نظافة، والجدولة المدركة للبيانات حيث يتم تشغيل DAGs على تحديثات مجموعة البيانات بدلاً من الساعات الثابتة. بالنسبة لتعلم الآلة، توقع اقترانًا أكثر إحكامًا مع متاجر الميزات وإعادة التدريب القائم على الأحداث. تضع Airflow نفسها بشكل متزايد على أنها طبقة التنسيق التي تنسق الأدوات المتخصصة مثل dbt وSpark وKubeflow، بدلاً من التنافس معها، مما يعزز دورها باعتبارها العمود الفقري لجدولة البيانات الحديثة ومكدسات التعلم الآلي.
التنفيذ في العالم الحقيقي
تدير شركة إعلامية Airflow DAG يوميًا لسحب سجلات مشاركة المستخدم، وإعادة تدريب نموذج التوصية، وتحديث ذاكرة التخزين المؤقت للعرض.
يستخدم فريق التجارة الإلكترونية أجهزة استشعار لانتظار وصول ملف بيانات البائع إلى وحدة التخزين السحابية قبل بدء مهمة التنبؤ النهائية.
تقوم إحدى شركات التكنولوجيا المالية بجدولة مهام تسجيل الدُفعات كل ساعة حيث يقوم Airflow بتشغيل نموذج حاوية للإبلاغ عن المعاملات المشبوهة.
يستخدم فريق البيانات عمليات إعادة تعبئة Airflow لإعادة معالجة أشهر من البيانات التاريخية من خلال مسار جديد لهندسة الميزات بعد تغيير المنطق.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Apache Airflow for ML Workflows quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
Kubernetes لأحمال عمل ML
الأسئلة المتداولة
What is Apache Airflow for ML Workflows?
Apache Airflow عبارة عن منصة مفتوحة المصدر لتأليف وجدولة ومراقبة سير العمل كرمز. في التعلم الآلي، يعمل بمثابة الموصل الذي يقوم بتشغيل خطوط أنابيب البيانات، وإعادة تدريب الوظائف، والتنبؤات المجمعة وفقًا لجدول زمني موثوق.
في Apache Airflow، ما هو التجريد الأساسي المستخدم لتحديد سير العمل؟
يتم تعريف سير عمل تدفق الهواء على أنه DAGs في Python، حيث تحدد المهام عبارة عن عقد وحواف ترتيب التنفيذ.
ما هو الدور الذي يلعبه Airflow بشكل شائع في خط أنابيب ML؟
يعد Airflow بمثابة منسق: فهو يقوم بتشغيل وتنسيق خطوات مثل استخراج البيانات ومهام التدريب بدلاً من القيام بالحسابات الثقيلة نفسها.
ما هي بنية Airflow المستخدمة لانتظار حالة خارجية، مثل وصول ملف إلى وحدة التخزين؟
تعد المستشعرات عوامل تشغيل خاصة تعمل على إيقاف سير العمل مؤقتًا حتى يتم استيفاء شرط ما، مثل وصول الملف أو ظهور القسم.
ما الذي يسمح لك "ردم" تدفق الهواء بفعله؟
تقوم عملية الردم بتنفيذ DAG عبر فترات زمنية سابقة، وهو أمر مفيد لإعادة معالجة السجل بعد تغيير منطق خط الأنابيب.
ما هو المكون الذي يقوم بتقييم DAGs بشكل مستمر ويقرر المهام الجاهزة للتشغيل؟
يقوم المجدول بتوزيع DAGs، والتحقق من الفواصل الزمنية للجدول والتبعيات، ووضع المهام في قائمة الانتظار التي نجحت خطواتها الأولية.