পরবর্তী আপপরবর্তী গাইড
গ্রাউন্ড ট্রুথ লেবেল ছাড়া মডেল মনিটরিং
টেকনিক্যাল
প্রযুক্তিগত গাইড
স্পষ্টতই রিপোর্ট, মেট্রিক্স এবং পরীক্ষার মাধ্যমে ডেটা এবং এমএল সিস্টেমের মূল্যায়ন ও পর্যবেক্ষণের জন্য একটি ওপেন সোর্স Python লাইব্রেরি।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
দলগুলি ড্রিফ্ট বা গুণমান পরিবর্তনের জন্য রেফারেন্স এবং বর্তমান ডেটাসেটগুলির তুলনা করতে পারে, তবে ফলাফল বৈশিষ্ট্য নির্বাচন, পরিসংখ্যান পরীক্ষা, নমুনার আকার এবং গ্রাউন্ড-ট্রুথ লেবেল উপলব্ধ কিনা তার উপর নির্ভর করে।
স্পষ্টতই একটি ওপেন সোর্স Python লাইব্রেরি যা মেট্রিক্স, রিপোর্ট এবং টেস্ট স্যুট সহ ডেটা এবং ML সিস্টেমের মূল্যায়ন সমর্থন করে৷ একটি সাধারণ কর্মপ্রবাহ একটি বর্তমান ডেটাসেটের সাথে একটি রেফারেন্স ডেটাসেটের তুলনা করে, নির্বাচিত কলামগুলির জন্য ডেটা-গুণমান বা ড্রিফ্ট সংকেত গণনা করে। প্রতিবেদনগুলি পরিবর্তনগুলিকে সংক্ষিপ্ত করতে পারে এবং বিশ্লেষকদের তদন্তকে অগ্রাধিকার দিতে সাহায্য করতে পারে। অন্যান্য মূল্যায়ন লক্ষ্য লেবেলগুলির সাথে পূর্বাভাস তুলনা করতে পারে যখন সেই লেবেলগুলি উপলব্ধ থাকে৷ ডেটা ড্রিফ্ট এবং মডেল পারফরম্যান্স বিভিন্ন প্রশ্ন। ভবিষ্যদ্বাণীমূলক সম্পর্ক উপযোগী থাকাকালীন একটি বৈশিষ্ট্য বন্টন পরিবর্তিত হতে পারে, অথবা একটি বড় প্রান্তিক পরিবর্তন ছাড়াই মডেলের গুণমান হ্রাস পেতে পারে। ড্রিফ্ট সনাক্তকরণ পদ্ধতি বৈশিষ্ট্যের ধরন, নমুনার আকার, বিনিং বা পরিসংখ্যানগত পরীক্ষা এবং ডিফল্ট থ্রেশহোল্ডের উপর নির্ভর করে। একটি রিপোর্টে রেফারেন্স এবং বর্তমান সময়কাল, কলাম, পদ্ধতি এবং থ্রেশহোল্ড অন্তর্ভুক্ত করা উচিত। সমস্ত উপলব্ধ বৈশিষ্ট্য নির্বিচারে পর্যবেক্ষণ করা গোলমাল সতর্কতা তৈরি করতে পারে বা গুরুত্বপূর্ণ ভেরিয়েবলগুলিকে মুখোশ করতে পারে। স্পষ্টতই ডেটা প্রত্যাশা যেমন অনুপস্থিত মান, ব্যাপ্তি বা বিতরণ সীমাবদ্ধতার জন্য পরীক্ষাগুলিকে সমর্থন করতে পারে। একটি সুস্পষ্ট ডেটা চুক্তি এবং যুক্তিসঙ্গত সহনশীলতার সাথে সংযুক্ত হলে এই পরীক্ষাগুলি কার্যকর। একটি কঠোর পরীক্ষা একটি বৈধ ঋতু পরিবর্তনের সময় ব্যর্থ হতে পারে, যখন একটি অতিরিক্ত অনুমতিমূলক পরীক্ষা একটি ভাঙা ফিড মিস করে। ব্যর্থতাগুলিকে পর্যালোচনা সংকেত হিসাবে বিবেচনা করুন এবং অপ্রয়োজনীয় ব্যক্তিগত ডেটা প্রকাশ না করে তাদের ডিবাগ করার জন্য যথেষ্ট উদাহরণ বা সারাংশ সংরক্ষণ করুন। লেবেলযুক্ত মূল্যায়নের জন্য, মডেল সংস্করণ এবং উপযুক্ত সময় উইন্ডো সহ সারিবদ্ধ ভবিষ্যদ্বাণী এবং লক্ষ্য রেকর্ড বজায় রাখুন। লেবেল বিলম্ব এবং নির্বাচন পক্ষপাত সাম্প্রতিক মেট্রিক্স অসম্পূর্ণ করতে পারে। লেবেলবিহীন ইনপুট থেকে উত্পন্ন একটি প্রতিবেদন নির্ভুলতা প্রতিষ্ঠা করতে পারে না; এটি বিতরণ পরিবর্তন বা ডেটা মানের নিদর্শন প্রকাশ করতে পারে। প্রোডাকশন লগ, সার্ভিস মেট্রিক্স এবং গভর্নেন্স পদ্ধতির পাশাপাশি লাইব্রেরি ব্যবহার করুন। তুলনা পুনরুত্পাদনযোগ্য করতে রিপোর্ট কনফিগারেশন এবং ডেটা নমুনা সংস্করণ করুন। টুল আউটপুট শুধুমাত্র এর ডেটা, সেটিংস এবং ব্যাখ্যার মতই অর্থবহ; এটি স্বয়ংক্রিয়ভাবে সিদ্ধান্ত নেয় না যে ড্রিফ্ট বিষয় বা একটি মডেল পুনরায় প্রশিক্ষিত করা উচিত কিনা।
একটি দল লাইভ ইনফারেন্স বৈশিষ্ট্যগুলির সাথে একটি রেফারেন্স মাসের তুলনা করে একটি স্পষ্টভাবে ডেটা-ড্রিফ্ট রিপোর্ট তৈরি করে, তারপর অনুসন্ধান করে যে কোন কলামগুলি সনাক্ত করা পার্থক্যগুলিতে অবদান রাখে৷
ভবিষ্যদ্বাণীগুলি একটি মনিটরিং ব্যাচে প্রবেশ করার আগে একটি ডেটা-গুণমান পরীক্ষা অনুপস্থিত এবং মান পরিসীমা পরীক্ষা করে, একটি ভাঙা আপস্ট্রিম ফিডকে মডেল ড্রিফটের জন্য ভুল হওয়া থেকে প্রতিরোধ করে।
বিলম্বিত লেবেল আসার পরে, একটি মূল্যায়ন প্রতিবেদন ফলাফলের সাথে ভবিষ্যদ্বাণীর তুলনা করে এবং লেবেলবিহীন ড্রিফ্ট সিগন্যাল থেকে আলাদাভাবে টাস্ক মেট্রিক্স ট্র্যাক করে।
একটি CI জব একটি পরিচিত ডেটাসেট জোড়ায় একটি সংস্করণযুক্ত মনিটরিং টেস্ট স্যুট চালায় এবং প্রত্যাশিত ঋতু পরিবর্তনের জন্য একটি নথিভুক্ত পর্যালোচনার অনুমতি দেওয়ার সময় একটি সম্মত ডেটা চুক্তি লঙ্ঘন করা হলে ব্যর্থ হয়।
পর্যবেক্ষণ দলগুলি রেফারেন্স উইন্ডোগুলিকে সংজ্ঞায়িত করে, অর্থপূর্ণ বৈশিষ্ট্যগুলি নির্বাচন করে এবং পরীক্ষার কনফিগারেশন সংস্করণ করে স্পষ্টভাবে রিপোর্টগুলিকে আরও কার্যকরভাবে ব্যবহার করতে পারে। ডেটা-গুণমান পরীক্ষা এবং পরিষেবার মেট্রিক্সের সাথে ড্রিফ্ট ফলাফলগুলিকে যুক্ত করুন, তারপরে যখন তারা পৌঁছান তখন বিলম্বিত লেবেলের সাথে সতর্কতার তুলনা করুন। পেজিং অপারেটরদের আগে পরিচিত ঋতুকালের উপর থ্রেশহোল্ড আচরণ পর্যালোচনা করুন। শুধুমাত্র বিশ্লেষণের জন্য প্রয়োজনীয় ডেটা সংরক্ষণ করুন এবং সংবেদনশীল বৈশিষ্ট্য ধারণ করা প্রতিবেদনগুলিকে সুরক্ষিত করুন। ওপেন-সোর্স মূল্যায়ন সরঞ্জামগুলি পর্যবেক্ষণযোগ্যতাকে সমর্থন করে, যদিও মানুষ এখনও নির্ধারণ করে যে কোনও পরিবর্তন ব্যবহারকারীদের প্রভাবিত করে নাকি পুনরায় প্রশিক্ষণের প্রয়োজন হয়। দলগুলি প্রতিটি সতর্কতার জন্য মালিককে নথিভুক্ত করতে পারে।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
স্পষ্টতই রিপোর্ট, মেট্রিক্স এবং পরীক্ষার মাধ্যমে ডেটা এবং এমএল সিস্টেমের মূল্যায়ন ও পর্যবেক্ষণের জন্য একটি ওপেন সোর্স Python লাইব্রেরি। দলগুলি ড্রিফ্ট বা গুণমান পরিবর্তনের জন্য রেফারেন্স এবং বর্তমান ডেটাসেটগুলির তুলনা করতে পারে, তবে ফলাফল বৈশিষ্ট্য নির্বাচন, পরিসংখ্যান পরীক্ষা, নমুনার আকার এবং গ্রাউন্ড-ট্রুথ লেবেল উপলব্ধ কিনা তার উপর নির্ভর করে।
ড্রিফ্ট রিপোর্টগুলি একটি রেফারেন্স এবং বর্তমান নমুনার মধ্যে ডেটা বৈশিষ্ট্যের তুলনা করে।
তুলনা বেসলাইন এবং অন্তর্ভুক্ত কলাম রিপোর্টের ফলাফল আকৃতি.
ফলাফল ছাড়া, প্রতিবেদনটি বন্টন পরিবর্তনের বর্ণনা দিতে পারে, সরাসরি সঠিকতা পরিমাপ করতে পারে না।
ডেটা-গুণমান পরীক্ষা পূর্বনির্ধারিত প্রত্যাশা যেমন বৈধ ব্যাপ্তি বা অনুপস্থিত পরীক্ষা করে।
বৈধ ঋতু পরিবর্তন এবং সসীম-নমুনা পরিবর্তন একটি অত্যধিক কঠোর থ্রেশহোল্ড অতিক্রম করতে পারে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
গ্রাউন্ড ট্রুথ লেবেল ছাড়া মডেল মনিটরিং
টেকনিক্যাল