পরবর্তী আপপরবর্তী গাইড
ওয়েবডেটাসেটের সাথে বড় প্রশিক্ষণ ডেটাসেট স্ট্রিমিং
টেকনিক্যাল
প্রযুক্তিগত গাইড
স্ট্রিমিং ফিচার পাইপলাইন ইভেন্ট স্ট্রীম ব্যবহার করে যেমন কাফকা টপিকস এবং স্টেটফুল প্রসেসর যেমন ফ্লিঙ্ক রোলিং বা টাইম-উইন্ডোড ফিচার আপডেট করতে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
শুদ্ধতা ইভেন্ট-টাইম সংজ্ঞা, দেরী এবং নকল রেকর্ড পরিচালনা, টেকসই অবস্থা এবং সিঙ্ক গ্যারান্টির উপর নির্ভর করে-শুধু ঘটনাগুলি দ্রুত প্রক্রিয়াকরণের উপর নয়।
একটি স্ট্রিমিং বৈশিষ্ট্য পাইপলাইন সাধারণত গণনা থেকে পরিবহন পৃথক করে। কাফকা স্টোর প্রতিটি পার্টিশনের মধ্যে রেকর্ড অর্ডার করে এবং ভোক্তাদের ধরে রাখা ইভেন্টগুলি পুনরায় চালানোর অনুমতি দেয়। ফ্লিঙ্কের মতো একটি প্রসেসর সত্তা, কম্পিউট উইন্ডোজ বা রোলিং এগ্রিগেট, এবং একটি অনলাইন বৈশিষ্ট্য স্টোরে ফলাফল লিখতে পারে। এটি কম-বিলম্বিত বৈশিষ্ট্যগুলিকে সমর্থন করে যেমন সাম্প্রতিক লেনদেন গণনা যখন মডেলের একটি ব্যাচ সময়সূচী প্রদানের তুলনায় নতুন মান প্রয়োজন। একটি বৈশিষ্ট্যের সংজ্ঞায় সত্তা কী, উইন্ডো, অনুপস্থিত ইতিহাসের জন্য ডিফল্ট এবং দেরী-ইভেন্ট নীতি নির্দিষ্ট করা উচিত যাতে পরিবেশন আচরণ স্পষ্ট হয়। ইভেন্ট টাইম হল যখন ঘটনা ঘটেছে; প্রক্রিয়াকরণের সময় হল যখন কাজটি পরিচালনা করে। ইভেন্টগুলি অর্ডারের বাইরে আসতে পারে, তাই ফ্লিঙ্ক ওয়াটারমার্ক ইভেন্ট-টাইম অগ্রগতি অনুমান করে এবং প্রত্যাশিত বিলম্বের জন্য অ্যাকাউন্টিং করার সময় উইন্ডোগুলি বন্ধ করার অনুমতি দেয়। একটি জলছাপ একটি অগ্রগতি সংকেত, প্রমাণ নয় যে কোন পুরানো ঘটনা কখনও আসতে পারে না; দেরী-ইভেন্ট নীতি নির্ধারণ করে যে সেই রেকর্ডগুলি আপডেট করা, রুট করা বা ড্রপ করা। খারাপ টাইমস্ট্যাম্প, ডুপ্লিকেট ইভেন্ট বা ভুলভাবে কীড স্টেট একটি ঘূর্ণায়মান বৈশিষ্ট্যকে দূষিত করতে পারে এমনকি যখন কাজের কোনো ডাউনটাইম নেই। ফ্লিঙ্ক চেকপয়েন্টগুলি পরিচালিত রাজ্য এবং উত্স অবস্থানগুলি পুনরুদ্ধার করতে পারে৷ কিন্তু ঠিক-একবার রাষ্ট্রীয় পুনরুদ্ধার শেষ-থেকে-শেষ ঠিক-একবার আউটপুটের মতো নয়: উৎসের অংশগ্রহণ এবং একটি সামঞ্জস্যপূর্ণ সিঙ্ক বা লেনদেন/আদমশক্তি কৌশলের ব্যাপার। কাফকার নিজস্ব অদম্য এবং লেনদেনমূলক প্রযোজক শব্দার্থবিদ্যা সুযোগ সংজ্ঞায়িত করেছে। ডেলিভারি গ্যারান্টির প্রতিশ্রুতি দেওয়ার আগে ব্যবহার করা সঠিক সংযোগকারী সংস্করণগুলির বিরুদ্ধে পরীক্ষা রিপ্লে, রিস্টার্ট, দেরী ডেটা এবং সিঙ্ক আচরণ।
একটি জালিয়াতি শনাক্তকরণ সিস্টেম গত 10 মিনিটে একটি কার্ডের লেনদেনের রোলিং গণনা বজায় রাখতে ফ্লিঙ্ক ব্যবহার করে, কাফকা বিষয়ে প্রতিটি নতুন লেনদেন ইভেন্টের সেকেন্ডের মধ্যে গণনা আপডেট করে।
একটি রাইড-শেয়ারিং অ্যাপ একটি স্ট্রিমিং বৈশিষ্ট্য হিসাবে 'গত 20টি রাইডের গড় ড্রাইভারের রেটিং' গণনা করে তাই একটি খারাপ রেটিং আসার পরের দিন নয়, পরের দিন নয়, একটি নতুন কম-রেটেড ড্রাইভার পর্যালোচনার জন্য ফ্ল্যাগ করা হয়।
একটি ই-কমার্স সাইট উইন্ডোড এগ্রিগেশন সহ প্রতি ব্যবহারকারী সেশনে 'শেষ 60 সেকেন্ডে পৃষ্ঠা দর্শন' গণনা করে, একটি রিয়েল-টাইম ব্যক্তিগতকরণ মডেল খাওয়ায় যা সেশনের মাঝামাঝি সুপারিশগুলিকে সামঞ্জস্য করে।
একটি পেমেন্ট প্ল্যাটফর্ম একটি লেনদেন ইভেন্ট পরিচালনা করতে ফ্লিঙ্কের ওয়াটারমার্কিং ব্যবহার করে যা মোবাইল নেটওয়ার্ক বিলম্বের কারণে 30 সেকেন্ড দেরিতে আসে, তারপরও এটি ফেলে দেওয়ার পরিবর্তে সঠিক 5-মিনিট উইন্ডোতে অন্তর্ভুক্ত করে।
স্ট্রিমিং বৈশিষ্ট্যগুলির চাহিদা জালিয়াতি সনাক্তকরণ, বিজ্ঞাপন বিডিং এবং রিয়েল-টাইম ব্যক্তিগতকরণের ক্ষেত্রে দ্রুততম বৃদ্ধি পাচ্ছে, যেখানে কয়েক সেকেন্ডের বৈশিষ্ট্যের অচলতা পরিমাপকভাবে ফলাফলগুলিকে প্রভাবিত করে৷ ফিচার স্টোরগুলি ক্রমবর্ধমানভাবে নেটিভ স্ট্রিমিং সমর্থন যোগ করছে, তাই একটি বৈশিষ্ট্য একবার সংজ্ঞায়িত করা যেতে পারে এবং একইভাবে গণনা করা যেতে পারে যেটি স্ট্রিমিং পাইপলাইন থেকে পরিবেশন করা হয়েছে বা ঐতিহাসিক ব্যাচ ডেটা থেকে ব্যাকফিল করা হয়েছে, সমান্তরাল ব্যাচ এবং স্ট্রিমিং কোড পাথগুলির পৃথক রক্ষণাবেক্ষণের বোঝা হ্রাস করে৷ স্ট্রিমিং অবকাঠামো, স্টেটফুল ফ্লিঙ্ক জবস এবং কাফকা ক্লাস্টার চালানো এবং টিউন করার মূল অপারেশনাল খরচ, মানে অনেক দল এখনও নির্দিষ্ট বৈশিষ্ট্যগুলির জন্য এটি সংরক্ষণ করে যেখানে সতেজতা বস্তুগতভাবে মডেলের কার্যকারিতা পরিবর্তন করে।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
স্ট্রিমিং ফিচার পাইপলাইন ইভেন্ট স্ট্রীম ব্যবহার করে যেমন কাফকা টপিকস এবং স্টেটফুল প্রসেসর যেমন ফ্লিঙ্ক রোলিং বা টাইম-উইন্ডোড ফিচার আপডেট করতে। শুদ্ধতা ইভেন্ট-টাইম সংজ্ঞা, দেরী এবং নকল রেকর্ড পরিচালনা, টেকসই অবস্থা এবং সিঙ্ক গ্যারান্টির উপর নির্ভর করে-শুধু ঘটনাগুলি দ্রুত প্রক্রিয়াকরণের উপর নয়।
কাফকা প্রতিটি পার্টিশনের মধ্যে অর্ডারকৃত রেকর্ডগুলি ধরে রাখে এবং ভোক্তারা সংরক্ষণ করার সময় সেগুলি পড়তে বা পুনরায় চালাতে পারে। পার্টিশন জুড়ে কোন মোট অর্ডার নেই।
টাম্বলিং জানালাগুলি স্থির, পিছনের পিছনে বালতি, যখন স্লাইডিং জানালাগুলি ক্রমাগত সামনের দিকে গড়িয়ে যায়।
একটি রোলিং 'ট্রেলিং 10 মিনিট' প্রয়োজনীয়তা একটি স্লাইডিং উইন্ডোর ক্রমাগত আপডেট আচরণের সাথে মেলে।
ওয়াটারমার্কগুলি ফ্লিঙ্ককে সিদ্ধান্ত নিতে দেয় যে কখন সম্ভাব্য অ-অর্ডার আগমন সত্ত্বেও একটি উইন্ডো চূড়ান্ত করা নিরাপদ।
ফ্লিঙ্ক ডিফল্টরূপে একটি উইন্ডোর অনুমোদিত-লেটনেস পিরিয়ডের পরে রেকর্ড ড্রপ করে; একটি কনফিগার করা সাইড আউটপুট পৃথক পরিচালনার জন্য সেই রেকর্ডগুলিকে রুট করতে পারে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
ওয়েবডেটাসেটের সাথে বড় প্রশিক্ষণ ডেটাসেট স্ট্রিমিং
টেকনিক্যাল