ML মডেলের জন্য A/B পরীক্ষা

It matters because offline accuracy metrics often fail to predict business impact, so the only honest test is a controlled experiment in production.

অফলাইনে একটি মডেল দেখতে ভালো লাগতে পারে — উচ্চতর AUC, কম ত্রুটি — তবুও আপনি যে মেট্রিকটি পছন্দ করেন তা ক্ষতিগ্রস্থ করে, যেমন রাজস্ব বা ধারণ। A/B টেস্টিং ব্যবহারকারীদেরকে এলোমেলোভাবে বিদ্যমান মডেল (A) দ্বারা পরিবেশিত একটি নিয়ন্ত্রণ গোষ্ঠীতে এবং প্রার্থী মডেল (B) দ্বারা পরিবেশিত একটি চিকিত্সা গোষ্ঠীতে বিভক্ত করে, তারপর একটি নির্বাচিত সাফল্যের মেট্রিক তুলনা করে এটি সমাধান করে। র্যান্ডমাইজেশন নিশ্চিত করে যে গ্রুপগুলি তুলনাযোগ্য, তাই যে কোনও পার্থক্য মডেলের জন্য দায়ী করা যেতে পারে। দলগুলি পরিসংখ্যানগত হাইপোথিসিস টেস্টিং ব্যবহার করে সিদ্ধান্ত নেয় যে পর্যবেক্ষণ করা ফাঁকটি আসল নাকি শুধু শব্দ, একটি তাৎপর্য স্তর সেট করে (প্রায়ই 5%) এবং পর্যাপ্ত পরিসংখ্যানগত শক্তির জন্য প্রয়োজনীয় নমুনার আকার গণনা করে। সম্পর্কিত কৌশলগুলির মধ্যে রয়েছে ক্যানারি রিলিজ, যেখানে ট্র্যাফিকের একটি ছোট শতাংশ নতুন মডেলটি প্রথমে চেষ্টা করে এবং ছায়া পরীক্ষা, যেখানে নতুন মডেল ব্যবহারকারীদের প্রভাবিত না করে অনুরোধগুলি স্কোর করে।