التاليالدليل التالي
Amazon SageMaker لتدفقات عمل تعلّم الآلة
التقنية
الدليل الفني
Apache Airflow لسير عمل ML
Apache Airflow عبارة عن منصة مفتوحة المصدر لتأليف وجدولة ومراقبة سير العمل كرمز.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
في تعلّم الآلة، يعمل كمدير أوركسترا يُطلق خطوط أنابيب البيانات ومهام إعادة التدريب والتنبؤات الدفعية وفق جدول موثوق.
الغوص العميق
تم إنشاء Airflow في Airbnb في عام 2014 وهو الآن مشروع Apache. تجريدها المركزي هو DAG: رسم بياني دوري موجه للمهام المحددة في بايثون، حيث تحدد الحواف ترتيب التنفيذ والتبعيات. يقوم المجدول بتحليل هذه DAGs، ويقرر المهام الجاهزة، ويرسلها إلى المنفذين والعاملين؛ تعرض واجهة مستخدم الويب محفوظات التشغيل والسجلات وحالة المهمة. بالنسبة إلى تعلم الآلة، يتم استخدام Airflow على نطاق واسع كمنسق بدلاً من محرك حسابي: فهو لا يقوم بتدريب النماذج نفسها ولكنه يطلق خطوات مثل استخراج البيانات، والتحقق من صحتها، وبدء مهمة تدريبية على Spark أو Kubernetes pod، ونشر النتيجة. يسمح المشغلون وأجهزة الاستشعار للمهام باستدعاء الأنظمة الخارجية أو انتظار الملفات أو تشغيل الحاويات. تكمن قوتها في الجدولة التي يمكن الاعتماد عليها، وإعادة المحاولة، وعمليات الردم، والرؤية الواضحة لخطوط الأنابيب المعقدة المستندة إلى الوقت.
التنفيذ في العالم الحقيقي
تدير شركة إعلامية Airflow DAG يوميًا لسحب سجلات مشاركة المستخدم، وإعادة تدريب نموذج التوصية، وتحديث ذاكرة التخزين المؤقت للعرض.
يستخدم فريق التجارة الإلكترونية أجهزة استشعار لانتظار وصول ملف بيانات البائع إلى وحدة التخزين السحابية قبل بدء مهمة التنبؤ النهائية.
تقوم إحدى شركات التكنولوجيا المالية بجدولة مهام تسجيل الدُفعات كل ساعة حيث يقوم Airflow بتشغيل نموذج حاوية للإبلاغ عن المعاملات المشبوهة.
يستخدم فريق البيانات عمليات إعادة تعبئة Airflow لإعادة معالجة أشهر من البيانات التاريخية من خلال مسار جديد لهندسة الميزات بعد تغيير المنطق.
مستقبل تدفق هواء Apache لسير عمل تعلم الآلة
يؤكد الإصداران 2.x و3.x من Airflow على جدولة أسرع، وواجهة برمجة تطبيقات TaskFlow لخطوط أنابيب Python الأكثر نظافة، والجدولة المدركة للبيانات حيث يتم تشغيل DAGs على تحديثات مجموعة البيانات بدلاً من الساعات الثابتة. بالنسبة لتعلم الآلة، توقع اقترانًا أكثر إحكامًا مع متاجر الميزات وإعادة التدريب القائم على الأحداث. تضع Airflow نفسها بشكل متزايد على أنها طبقة التنسيق التي تنسق الأدوات المتخصصة مثل dbt وSpark وKubeflow، بدلاً من التنافس معها، مما يعزز دورها باعتبارها العمود الفقري لجدولة البيانات الحديثة ومكدسات التعلم الآلي.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
أخذ اختبار Apache Airflow لتدفقات عمل تعلّم الآلة
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو Apache Airflow لتدفقات عمل تعلّم الآلة؟
Apache Airflow عبارة عن منصة مفتوحة المصدر لتأليف وجدولة ومراقبة سير العمل كرمز. في التعلم الآلي، يعمل بمثابة الموصل الذي يقوم بتشغيل خطوط أنابيب البيانات، وإعادة تدريب الوظائف، والتنبؤات المجمعة وفقًا لجدول زمني موثوق.
في Apache Airflow، ما هو التجريد الأساسي المستخدم لتحديد سير العمل؟
يتم تعريف سير عمل تدفق الهواء على أنه DAGs في Python، حيث تحدد المهام عبارة عن عقد وحواف ترتيب التنفيذ.
ما هو الدور الذي يلعبه Airflow بشكل شائع في خط أنابيب ML؟
يعد Airflow بمثابة منسق: فهو يقوم بتشغيل وتنسيق خطوات مثل استخراج البيانات ومهام التدريب بدلاً من القيام بالحسابات الثقيلة نفسها.
ما هي بنية Airflow المستخدمة لانتظار حالة خارجية، مثل وصول ملف إلى وحدة التخزين؟
تعد المستشعرات عوامل تشغيل خاصة تعمل على إيقاف سير العمل مؤقتًا حتى يتم استيفاء شرط ما، مثل وصول الملف أو ظهور القسم.
ما الذي يسمح لك "ردم" تدفق الهواء بفعله؟
تقوم عملية الردم بتنفيذ DAG عبر فترات زمنية سابقة، وهو أمر مفيد لإعادة معالجة السجل بعد تغيير منطق خط الأنابيب.
مكوّن Airflow الذي يحدد متى يجب جدولة حالات المهام المؤهلة؟
يقيّم المجدول الجداول وأهلية المهام. نجاح المهام العلوية هو شرط الاعتماد الافتراضي، بينما يمكن لقواعد المحفّز المُعدّة تغييره.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع