ガイド連動クイズ · 中 レベル

ML モデルの A/B テストに関するクイズ

ランダム割り当て、仮説テスト、適応割り当て、ガードレールなど、オンライン モデル実験の基礎を確認します。

関連するガイドパスML モデルの A B テスト
質問 1 の 8

チームがオフラインの指標を信頼せずに、本番環境でモデルの A/B テストを行うのはなぜですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. チームがオフラインの指標を信頼せずに、本番環境でモデルの A/B テストを行うのはなぜですか?
    • オフラインの精度が向上したモデルでも、実際のビジネス指標に悪影響を与える可能性がある
    • オフライン指標は不正です
    • 実稼働はオフラインテストよりも安価です
    • オフラインデータは存在しません
  2. A/B テストにおいてランダムな割り当てはどのような役割を果たしますか?
    • テストの実行が速くなります
    • It supports balance between groups in expectation, subject to design and implementation assumptions
    • 偏ったユーザーを削除します
    • 必要なモデルの数が減ります
  3. In a model A/B test, what usually happens in the treatment group?
    • The candidate scores requests but all outputs are withheld
    • Every user is assigned to both models for the same decision
    • The candidate model serves user-facing decisions for the randomly assigned group
    • The control model is removed before any comparison
  4. Under a null hypothesis and stated test assumptions, how is a p-value interpreted?
    • As the probability that the null hypothesis is true
    • As the probability that the treatment caused the observed result
    • As the probability that the experiment will replicate
    • As the probability of data at least this extreme if the null hypothesis holds
  5. How can a multi-armed bandit change an experiment while it runs?
    • It can allocate more traffic to variants with better observed outcomes and less to others
    • It keeps every variant at a fixed equal allocation throughout
    • It removes randomization from every assignment
    • It guarantees the best variant is identified without uncertainty
  6. A/B テスト前の電力分析の目的は何ですか?
    • 実験用のロゴを選択するには
    • 実際の効果を確実に検出するために必要なユーザーの数を推定するには
    • トラフィックを暗号化するには
    • コントロールグループを削除するには
  7. What does a sample-ratio mismatch (SRM) signal during an A/B test?
    • The treatment model is necessarily better
    • The experiment has sufficient statistical power
    • Observed assignment counts differ materially from the configured allocation, which can indicate a data or randomization problem
    • The primary metric improved causally
  8. Why include guardrail metrics alongside an experiment’s primary success metric?
    • To guarantee the candidate wins on every metric
    • To replace the primary metric after results are observed
    • To avoid defining a decision rule before the test
    • To detect meaningful harms in other outcomes even when the primary metric improves