Thử nghiệm A/B cho bài kiểm tra mô hình ML

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Tại sao các nhóm thử nghiệm mô hình A/B trong sản xuất thay vì tin tưởng vào các số liệu ngoại tuyến?
   • Một mô hình có độ chính xác ngoại tuyến tốt hơn vẫn có thể ảnh hưởng đến các số liệu kinh doanh thực tế
   • Số liệu ngoại tuyến là bất hợp pháp
   • Sản xuất rẻ hơn so với thử nghiệm ngoại tuyến
   • Dữ liệu ngoại tuyến không tồn tại
2. Phân bổ ngẫu nhiên đóng vai trò gì trong thử nghiệm A/B?
   • Nó làm cho bài kiểm tra chạy nhanh hơn
   • It supports balance between groups in expectation, subject to design and implementation assumptions
   • Nó xóa người dùng thiên vị
   • Nó làm giảm số lượng mô hình cần thiết
3. In a model A/B test, what usually happens in the treatment group?
   • The candidate scores requests but all outputs are withheld
   • Every user is assigned to both models for the same decision
   • The candidate model serves user-facing decisions for the randomly assigned group
   • The control model is removed before any comparison
4. Under a null hypothesis and stated test assumptions, how is a p-value interpreted?
   • As the probability that the null hypothesis is true
   • As the probability that the treatment caused the observed result
   • As the probability that the experiment will replicate
   • As the probability of data at least this extreme if the null hypothesis holds
5. How can a multi-armed bandit change an experiment while it runs?
   • It can allocate more traffic to variants with better observed outcomes and less to others
   • It keeps every variant at a fixed equal allocation throughout
   • It removes randomization from every assignment
   • It guarantees the best variant is identified without uncertainty
6. Mục đích của việc phân tích năng lực trước khi thực hiện thử nghiệm A/B là gì?
   • Để chọn một logo cho thử nghiệm
   • Để ước tính cần bao nhiêu người dùng để phát hiện hiệu quả thực sự một cách đáng tin cậy
   • Để mã hóa lưu lượng
   • Để xóa nhóm điều khiển
7. What does a sample-ratio mismatch (SRM) signal during an A/B test?
   • The treatment model is necessarily better
   • The experiment has sufficient statistical power
   • Observed assignment counts differ materially from the configured allocation, which can indicate a data or randomization problem
   • The primary metric improved causally
8. Why include guardrail metrics alongside an experiment’s primary success metric?
   • To guarantee the candidate wins on every metric
   • To replace the primary metric after results are observed
   • To avoid defining a decision rule before the test
   • To detect meaningful harms in other outcomes even when the primary metric improves