Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ A/B Testing for ML Models

Ελέγξτε τα θεμέλια των διαδικτυακών πειραμάτων μοντέλων, συμπεριλαμβανομένης της τυχαίας ανάθεσης, των δοκιμών υποθέσεων, της προσαρμοστικής κατανομής και των προστατευτικών κιγκλιδωμάτων.

Σχετικές διαδρομές οδηγώνA B Δοκιμή για μοντέλα ML
Ερώτηση 1 του 8

Γιατί οι ομάδες Α/Β δοκιμάζουν μοντέλα στην παραγωγή αντί να εμπιστεύονται μετρήσεις εκτός σύνδεσης;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Γιατί οι ομάδες Α/Β δοκιμάζουν μοντέλα στην παραγωγή αντί να εμπιστεύονται μετρήσεις εκτός σύνδεσης;
    • Ένα μοντέλο με καλύτερη ακρίβεια εκτός σύνδεσης μπορεί να βλάψει τις πραγματικές επιχειρηματικές μετρήσεις
    • Οι μετρήσεις εκτός σύνδεσης είναι παράνομες
    • Η παραγωγή είναι φθηνότερη από τις δοκιμές εκτός σύνδεσης
    • Δεν υπάρχουν δεδομένα εκτός σύνδεσης
  2. Τι ρόλο παίζει η τυχαία ανάθεση σε ένα τεστ Α/Β;
    • Κάνει τη δοκιμή να τρέχει πιο γρήγορα
    • It supports balance between groups in expectation, subject to design and implementation assumptions
    • Διαγράφει μεροληπτικούς χρήστες
    • Μειώνει τον αριθμό των απαιτούμενων μοντέλων
  3. In a model A/B test, what usually happens in the treatment group?
    • The candidate scores requests but all outputs are withheld
    • Every user is assigned to both models for the same decision
    • The candidate model serves user-facing decisions for the randomly assigned group
    • The control model is removed before any comparison
  4. Under a null hypothesis and stated test assumptions, how is a p-value interpreted?
    • As the probability that the null hypothesis is true
    • As the probability that the treatment caused the observed result
    • As the probability that the experiment will replicate
    • As the probability of data at least this extreme if the null hypothesis holds
  5. How can a multi-armed bandit change an experiment while it runs?
    • It can allocate more traffic to variants with better observed outcomes and less to others
    • It keeps every variant at a fixed equal allocation throughout
    • It removes randomization from every assignment
    • It guarantees the best variant is identified without uncertainty
  6. Ποιος είναι ο σκοπός μιας ανάλυσης ισχύος πριν από μια δοκιμή A/B;
    • Για να επιλέξετε ένα λογότυπο για το πείραμα
    • Για να υπολογίσετε πόσοι χρήστες χρειάζονται για τον αξιόπιστο εντοπισμό ενός πραγματικού αποτελέσματος
    • Για να κρυπτογραφήσετε την κίνηση
    • Για να διαγράψετε την ομάδα ελέγχου
  7. What does a sample-ratio mismatch (SRM) signal during an A/B test?
    • The treatment model is necessarily better
    • The experiment has sufficient statistical power
    • Observed assignment counts differ materially from the configured allocation, which can indicate a data or randomization problem
    • The primary metric improved causally
  8. Why include guardrail metrics alongside an experiment’s primary success metric?
    • To guarantee the candidate wins on every metric
    • To replace the primary metric after results are observed
    • To avoid defining a decision rule before the test
    • To detect meaningful harms in other outcomes even when the primary metric improves