एमएल वर्कफ़्लोज़ के लिए अपाचे एयरफ्लो

In machine learning it acts as the conductor that triggers data pipelines, retraining jobs, and batch predictions on a reliable schedule.

एयरफ़्लो 2014 में Airbnb में बनाया गया था और अब यह एक Apache प्रोजेक्ट है। इसका केंद्रीय सार डीएजी है: पायथन में परिभाषित कार्यों का एक निर्देशित एसाइक्लिक ग्राफ, जहां किनारे निष्पादन क्रम और निर्भरता निर्धारित करते हैं। एक अनुसूचक इन डीएजी को पार्स करता है, निर्णय लेता है कि कौन से कार्य तैयार हैं, और उन्हें निष्पादकों और श्रमिकों को भेजता है; एक वेब यूआई रन इतिहास, लॉग और कार्य स्थिति दिखाता है। एमएल के लिए, एयरफ्लो का व्यापक रूप से एक कंप्यूट इंजन के बजाय एक ऑर्केस्ट्रेटर के रूप में उपयोग किया जाता है: यह स्वयं मॉडल को प्रशिक्षित नहीं करता है, बल्कि डेटा निकालने, इसे मान्य करने, स्पार्क या कुबेरनेट्स पॉड पर एक प्रशिक्षण कार्य शुरू करने और परिणाम को तैनात करने जैसे कदमों को ट्रिगर करता है। ऑपरेटर और सेंसर कार्यों को बाहरी सिस्टम को कॉल करने, फ़ाइलों की प्रतीक्षा करने या कंटेनर चलाने देते हैं। इसकी ताकत भरोसेमंद शेड्यूलिंग, पुनः प्रयास, बैकफ़िल और जटिल, समय-आधारित पाइपलाइनों में स्पष्ट दृश्यता है।