পরবর্তী আপপরবর্তী গাইড
Amazon SageMaker for ML Workflows
টেকনিক্যাল
প্রযুক্তিগত গাইড
এমএল ওয়ার্কফ্লোসের জন্য অ্যাপাচি এয়ারফ্লো
Apache Airflow হল কোড হিসাবে রচনা, সময়সূচী এবং কর্মপ্রবাহের নিরীক্ষণের জন্য একটি ওপেন সোর্স প্ল্যাটফর্ম।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
মেশিন লার্নিং-এ এটি কন্ডাক্টর হিসেবে কাজ করে যা ডেটা পাইপলাইন ট্রিগার করে, চাকরি পুনরায় প্রশিক্ষণ দেয় এবং নির্ভরযোগ্য সময়সূচীতে ব্যাচের পূর্বাভাস দেয়।
গভীর ডুব
এয়ারফ্লো 2014 সালে Airbnb-এ তৈরি করা হয়েছিল এবং এখন এটি একটি Apache প্রকল্প। এর কেন্দ্রীয় বিমূর্ততা হল DAG: পাইথনে সংজ্ঞায়িত কাজের একটি নির্দেশিত অ্যাসাইক্লিক গ্রাফ, যেখানে প্রান্তগুলি নির্বাহের আদেশ এবং নির্ভরতা সেট করে। একজন সময়সূচী এই DAGগুলিকে বিশ্লেষণ করে, কোন কাজগুলি প্রস্তুত তা সিদ্ধান্ত নেয় এবং সেগুলি নির্বাহক এবং কর্মীদের কাছে প্রেরণ করে; একটি ওয়েব UI রানের ইতিহাস, লগ এবং টাস্ক স্ট্যাটাস দেখায়। ML-এর জন্য, এয়ারফ্লো একটি গণনা ইঞ্জিনের পরিবর্তে একটি অর্কেস্ট্রেটর হিসাবে ব্যাপকভাবে ব্যবহৃত হয়: এটি নিজেই মডেলগুলিকে প্রশিক্ষণ দেয় না তবে ডেটা বের করা, এটিকে যাচাই করা, স্পার্ক বা কুবারনেটস পডে প্রশিক্ষণের কাজ শুরু করা এবং ফলাফল স্থাপনের মতো পদক্ষেপগুলি ট্রিগার করে৷ অপারেটর এবং সেন্সরগুলি কার্যগুলিকে বাহ্যিক সিস্টেমে কল করতে, ফাইলগুলির জন্য অপেক্ষা করতে বা পাত্রে চালাতে দেয়৷ এর শক্তি নির্ভরযোগ্য সময়সূচী, পুনরায় চেষ্টা, ব্যাকফিল এবং জটিল, সময়-ভিত্তিক পাইপলাইনে স্পষ্ট দৃশ্যমানতা।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি মিডিয়া কোম্পানি একটি দৈনিক এয়ারফ্লো ডিএজি চালায় যা ব্যবহারকারী-নিয়োগ লগ টেনে আনে, একটি সুপারিশ মডেল পুনরায় প্রশিক্ষণ দেয় এবং সার্ভিং ক্যাশে রিফ্রেশ করে।
একটি ই-কমার্স দল একটি ডাউনস্ট্রিম পূর্বাভাস টাস্ক চালু করার আগে একটি বিক্রেতার ডেটা ফাইল ক্লাউড স্টোরেজে অবতরণ করার জন্য অপেক্ষা করতে সেন্সর ব্যবহার করে।
একটি ফিনটেক ফার্ম প্রতি ঘণ্টায় ব্যাচ-স্কোরিং কাজের সময়সূচী নির্ধারণ করে যেখানে এয়ারফ্লো সন্দেহজনক লেনদেনকে ফ্ল্যাগ করার জন্য একটি কন্টেইনারাইজড মডেল ট্রিগার করে।
একটি ডেটা দল যুক্তি পরিবর্তনের পরে একটি নতুন বৈশিষ্ট্য-ইঞ্জিনিয়ারিং পাইপলাইনের মাধ্যমে কয়েক মাসের ঐতিহাসিক ডেটা পুনরায় প্রক্রিয়া করতে Airflow ব্যাকফিল ব্যবহার করে৷
ML কর্মপ্রবাহের জন্য Apache Airflow এর ভবিষ্যত
এয়ারফ্লো 2.x এবং 3.x একটি দ্রুত শিডিউলার, ক্লিনার পাইথন পাইপলাইনগুলির জন্য টাস্কফ্লো এপিআই এবং ডেটা-সচেতন সময়সূচীর উপর জোর দেয় যেখানে DAGগুলি নির্দিষ্ট ঘড়ির পরিবর্তে ডেটাসেট আপডেটগুলিতে ট্রিগার করে। ML-এর জন্য, ফিচার স্টোর এবং ইভেন্ট-চালিত পুনঃপ্রশিক্ষণের সাথে আরও শক্ত সংযোগ আশা করুন। এয়ারফ্লো ক্রমবর্ধমানভাবে নিজেকে অর্কেস্ট্রেশন স্তর হিসাবে অবস্থান করে যা dbt, Spark, এবং Kubeflow এর মতো বিশেষ সরঞ্জামগুলিকে সমন্বয় করে, তাদের সাথে প্রতিযোগিতা না করে, আধুনিক ডেটা এবং ML স্ট্যাকের সময়সূচী ব্যাকবোন হিসাবে এর ভূমিকাকে সিমেন্ট করে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Apache Airflow for ML Workflows quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
এমএল ওয়ার্কফ্লোসের জন্য অ্যাপাচি এয়ারফ্লো কী?
Apache Airflow হল কোড হিসাবে রচনা, সময়সূচী এবং কর্মপ্রবাহের নিরীক্ষণের জন্য একটি ওপেন সোর্স প্ল্যাটফর্ম। মেশিন লার্নিং-এ এটি কন্ডাক্টর হিসেবে কাজ করে যা ডেটা পাইপলাইন, পুনঃপ্রশিক্ষণের কাজ এবং একটি নির্ভরযোগ্য সময়সূচীতে ব্যাচের পূর্বাভাস ট্রিগার করে।
অ্যাপাচি এয়ারফ্লোতে, একটি ওয়ার্কফ্লো সংজ্ঞায়িত করতে ব্যবহৃত মূল বিমূর্ততা কী?
এয়ারফ্লো ওয়ার্কফ্লোগুলিকে পাইথনে ডিএজি হিসাবে সংজ্ঞায়িত করা হয়েছে, যেখানে কাজগুলি নোড এবং প্রান্তগুলি সম্পাদনের ক্রম নির্ধারণ করে।
একটি এমএল পাইপলাইনে বায়ুপ্রবাহ সবচেয়ে বেশি কী ভূমিকা পালন করে?
এয়ারফ্লো হল একটি অর্কেস্ট্রেটর: এটি নিজেই ভারী গণনা করার পরিবর্তে ডেটা নিষ্কাশন এবং প্রশিক্ষণের কাজগুলির মতো পদক্ষেপগুলিকে ট্রিগার এবং সমন্বয় করে।
বাহ্যিক অবস্থার জন্য অপেক্ষা করতে কোন এয়ারফ্লো কনস্ট্রাক্ট ব্যবহার করা হয়, যেমন স্টোরেজে আসা ফাইল?
সেন্সর হল বিশেষ অপারেটর যেগুলি একটি শর্ত পূরণ না হওয়া পর্যন্ত একটি কর্মপ্রবাহকে বিরতি দেয়, যেমন একটি ফাইল অবতরণ বা একটি পার্টিশন প্রদর্শিত হয়৷
একটি এয়ারফ্লো 'ব্যাকফিল' আপনাকে কী করতে দেয়?
ব্যাকফিলিং অতীতের ব্যবধানে একটি DAG কার্যকর করে, একটি পাইপলাইন লজিক পরিবর্তনের পরে ইতিহাস পুনঃপ্রক্রিয়া করার জন্য দরকারী।
Which Airflow component determines when eligible task instances should be scheduled?
The scheduler evaluates schedules and task eligibility. Upstream success is the default dependency condition, while configured trigger rules can change it.
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড