ML মডেল কুইজের জন্য A/B পরীক্ষা

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. কেন দলগুলি অফলাইন মেট্রিক্সে বিশ্বাস করার পরিবর্তে উত্পাদনে A/B পরীক্ষা করে?
   • ভাল অফলাইন নির্ভুলতার সাথে একটি মডেল এখনও প্রকৃত ব্যবসার মেট্রিক্সকে আঘাত করতে পারে
   • অফলাইন মেট্রিক অবৈধ
   • অফলাইন পরীক্ষার তুলনায় উৎপাদন সস্তা
   • অফলাইন ডেটা বিদ্যমান নেই
2. A/B পরীক্ষায় র্যান্ডম অ্যাসাইনমেন্ট কী ভূমিকা পালন করে?
   • এটি পরীক্ষাকে দ্রুত চালায়
   • It supports balance between groups in expectation, subject to design and implementation assumptions
   • এটি পক্ষপাতদুষ্ট ব্যবহারকারীদের মুছে দেয়
   • এটি প্রয়োজনীয় মডেলের সংখ্যা হ্রাস করে
3. In a model A/B test, what usually happens in the treatment group?
   • The candidate scores requests but all outputs are withheld
   • Every user is assigned to both models for the same decision
   • The candidate model serves user-facing decisions for the randomly assigned group
   • The control model is removed before any comparison
4. Under a null hypothesis and stated test assumptions, how is a p-value interpreted?
   • As the probability that the null hypothesis is true
   • As the probability that the treatment caused the observed result
   • As the probability that the experiment will replicate
   • As the probability of data at least this extreme if the null hypothesis holds
5. How can a multi-armed bandit change an experiment while it runs?
   • It can allocate more traffic to variants with better observed outcomes and less to others
   • It keeps every variant at a fixed equal allocation throughout
   • It removes randomization from every assignment
   • It guarantees the best variant is identified without uncertainty
6. একটি A/B পরীক্ষার আগে শক্তি বিশ্লেষণের উদ্দেশ্য কী?
   • পরীক্ষার জন্য একটি লোগো বাছাই করতে
   • নির্ভরযোগ্যভাবে একটি বাস্তব প্রভাব সনাক্ত করতে কতজন ব্যবহারকারীর প্রয়োজন তা অনুমান করতে
   • ট্রাফিক এনক্রিপ্ট করতে
   • নিয়ন্ত্রণ গ্রুপ মুছে ফেলার জন্য
7. What does a sample-ratio mismatch (SRM) signal during an A/B test?
   • The treatment model is necessarily better
   • The experiment has sufficient statistical power
   • Observed assignment counts differ materially from the configured allocation, which can indicate a data or randomization problem
   • The primary metric improved causally
8. Why include guardrail metrics alongside an experiment’s primary success metric?
   • To guarantee the candidate wins on every metric
   • To replace the primary metric after results are observed
   • To avoid defining a decision rule before the test
   • To detect meaningful harms in other outcomes even when the primary metric improves