가이드 연계 퀴즈 · 중간 레벨

ML 모델을 위한 A/B 테스트 퀴즈

무작위 할당, 가설 검정, 적응형 할당, 가드레일 등 온라인 모델 실험의 기초를 확인하세요.

관련 가이드 경로ML 모델에 대한 A B 테스트
질문 1 의 8

팀 A/B가 오프라인 지표를 신뢰하는 대신 프로덕션에서 모델을 테스트하는 이유는 무엇입니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. 팀 A/B가 오프라인 지표를 신뢰하는 대신 프로덕션에서 모델을 테스트하는 이유는 무엇입니까?
    • 오프라인 정확도가 더 높은 모델은 여전히 실제 비즈니스 지표에 해를 끼칠 수 있습니다.
    • 오프라인 측정항목은 불법입니다.
    • 오프라인 테스트보다 생산 비용이 저렴함
    • 오프라인 데이터가 존재하지 않습니다
  2. A/B 테스트에서 무작위 할당은 어떤 역할을 합니까?
    • 테스트 실행 속도가 빨라집니다.
    • It supports balance between groups in expectation, subject to design and implementation assumptions
    • 편향된 사용자를 삭제합니다.
    • 필요한 모델 수를 줄입니다.
  3. In a model A/B test, what usually happens in the treatment group?
    • The candidate scores requests but all outputs are withheld
    • Every user is assigned to both models for the same decision
    • The candidate model serves user-facing decisions for the randomly assigned group
    • The control model is removed before any comparison
  4. Under a null hypothesis and stated test assumptions, how is a p-value interpreted?
    • As the probability that the null hypothesis is true
    • As the probability that the treatment caused the observed result
    • As the probability that the experiment will replicate
    • As the probability of data at least this extreme if the null hypothesis holds
  5. How can a multi-armed bandit change an experiment while it runs?
    • It can allocate more traffic to variants with better observed outcomes and less to others
    • It keeps every variant at a fixed equal allocation throughout
    • It removes randomization from every assignment
    • It guarantees the best variant is identified without uncertainty
  6. A/B 테스트 전 전력 분석의 목적은 무엇입니까?
    • 실험에 사용할 로고를 선택하려면
    • 실제 효과를 안정적으로 감지하는 데 필요한 사용자 수를 추정하려면
    • 트래픽을 암호화하려면
    • 통제 그룹을 삭제하려면
  7. What does a sample-ratio mismatch (SRM) signal during an A/B test?
    • The treatment model is necessarily better
    • The experiment has sufficient statistical power
    • Observed assignment counts differ materially from the configured allocation, which can indicate a data or randomization problem
    • The primary metric improved causally
  8. Why include guardrail metrics alongside an experiment’s primary success metric?
    • To guarantee the candidate wins on every metric
    • To replace the primary metric after results are observed
    • To avoid defining a decision rule before the test
    • To detect meaningful harms in other outcomes even when the primary metric improves