ML ورک فلوز کے لیے اپاچی ایئر فلو

In machine learning it acts as the conductor that triggers data pipelines, retraining jobs, and batch predictions on a reliable schedule.

ایئر فلو 2014 میں Airbnb میں بنایا گیا تھا اور اب یہ ایک Apache پروجیکٹ ہے۔ اس کا مرکزی خلاصہ ڈی اے جی ہے: ازگر میں بیان کردہ کاموں کا ایک ڈائریکٹڈ ایسکلک گراف، جہاں کنارے عمل درآمد کا حکم اور انحصار متعین کرتے ہیں۔ ایک شیڈیولر ان DAGs کو پارس کرتا ہے، فیصلہ کرتا ہے کہ کون سے کام تیار ہیں، اور انہیں ایگزیکیوٹرز اور ورکرز کو بھیجتا ہے۔ ایک ویب UI رن ہسٹری، لاگز اور ٹاسک اسٹیٹس دکھاتا ہے۔ ایم ایل کے لیے، ایئر فلو کو کمپیوٹ انجن کے بجائے ایک آرکیسٹریٹر کے طور پر بڑے پیمانے پر استعمال کیا جاتا ہے: یہ خود ماڈلز کو تربیت نہیں دیتا بلکہ ڈیٹا کو نکالنے، اس کی توثیق کرنے، اسپارک یا کوبرنیٹس پوڈ پر تربیتی کام کو شروع کرنے، اور نتیجہ کو تعینات کرنے جیسے اقدامات کو متحرک کرتا ہے۔ آپریٹرز اور سینسرز کاموں کو بیرونی سسٹمز کو کال کرنے، فائلوں کا انتظار کرنے، یا کنٹینرز چلانے دیتے ہیں۔ اس کی طاقت قابل بھروسہ شیڈولنگ، دوبارہ کوششیں، بیک فلز، اور پیچیدہ، وقت پر مبنی پائپ لائنوں میں واضح مرئیت ہے۔