Cuestionario vinculado a una guía · Medio Nivel

Prueba de pruebas A/B para modelos de aprendizaje automático

Consulte los fundamentos de los experimentos de modelos en línea, incluida la asignación aleatoria, las pruebas de hipótesis, la asignación adaptativa y las barreras de seguridad.

Rutas de guía relacionadasA B Pruebas para modelos de ML
Pregunta 1 de 8

¿Por qué los equipos prueban modelos A/B en producción en lugar de confiar en métricas fuera de línea?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Por qué los equipos prueban modelos A/B en producción en lugar de confiar en métricas fuera de línea?
    • Un modelo con mayor precisión fuera de línea aún puede perjudicar las métricas comerciales reales
    • Las métricas fuera de línea son ilegales
    • La producción es más barata que las pruebas fuera de línea.
    • Los datos sin conexión no existen
  2. ¿Qué papel juega la asignación aleatoria en una prueba A/B?
    • Hace que la prueba se ejecute más rápido.
    • It supports balance between groups in expectation, subject to design and implementation assumptions
    • Elimina usuarios sesgados.
    • Reduce el número de modelos necesarios.
  3. In a model A/B test, what usually happens in the treatment group?
    • The candidate scores requests but all outputs are withheld
    • Every user is assigned to both models for the same decision
    • The candidate model serves user-facing decisions for the randomly assigned group
    • The control model is removed before any comparison
  4. Under a null hypothesis and stated test assumptions, how is a p-value interpreted?
    • As the probability that the null hypothesis is true
    • As the probability that the treatment caused the observed result
    • As the probability that the experiment will replicate
    • As the probability of data at least this extreme if the null hypothesis holds
  5. How can a multi-armed bandit change an experiment while it runs?
    • It can allocate more traffic to variants with better observed outcomes and less to others
    • It keeps every variant at a fixed equal allocation throughout
    • It removes randomization from every assignment
    • It guarantees the best variant is identified without uncertainty
  6. ¿Cuál es el propósito de un análisis de potencia antes de una prueba A/B?
    • Para elegir un logotipo para el experimento.
    • Estimar cuántos usuarios se necesitan para detectar de forma fiable un efecto real
    • Para cifrar el tráfico
    • Para eliminar el grupo de control
  7. What does a sample-ratio mismatch (SRM) signal during an A/B test?
    • The treatment model is necessarily better
    • The experiment has sufficient statistical power
    • Observed assignment counts differ materially from the configured allocation, which can indicate a data or randomization problem
    • The primary metric improved causally
  8. Why include guardrail metrics alongside an experiment’s primary success metric?
    • To guarantee the candidate wins on every metric
    • To replace the primary metric after results are observed
    • To avoid defining a decision rule before the test
    • To detect meaningful harms in other outcomes even when the primary metric improves