Tests A/B pour les modèles ML

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Pourquoi les équipes testent-elles les modèles A/B en production au lieu de se fier aux métriques hors ligne ?
   • Un modèle avec une meilleure précision hors ligne peut toujours nuire aux mesures commerciales réelles
   • Les métriques hors ligne sont illégales
   • La production est moins chère que les tests hors ligne
   • Les données hors ligne n'existent pas
2. Quel rôle joue l’assignation aléatoire dans un test A/B ?
   • Cela rend le test plus rapide
   • Il soutient l'équilibre entre les groupes attendus, sous réserve des hypothèses de conception et de mise en œuvre.
   • Il supprime les utilisateurs biaisés
   • Cela réduit le nombre de modèles nécessaires
3. Dans un test A/B modèle, que se passe-t-il habituellement dans le groupe de traitement ?
   • Le candidat note les demandes mais toutes les sorties sont refusées
   • Chaque utilisateur est affecté aux deux modèles pour la même décision
   • Le modèle candidat sert les décisions face à l'utilisateur pour le groupe assigné au hasard
   • Le modèle de contrôle est supprimé avant toute comparaison
4. Sous une hypothèse nulle et des hypothèses de test énoncées, comment une valeur p est-elle interprétée ?
   • Comme la probabilité que l'hypothèse nulle soit vraie
   • Comme la probabilité que le traitement ait provoqué le résultat observé
   • Comme la probabilité que l'expérience se reproduise
   • Comme la probabilité d'obtenir des données au moins aussi extrêmes si l'hypothèse nulle est vérifiée
5. Comment un bandit à plusieurs bras peut-il modifier une expérience en cours d'exécution ?
   • Il peut allouer plus de trafic aux variantes avec de meilleurs résultats observés et moins aux autres.
   • Il maintient chaque variante à une allocation fixe égale tout au long
   • Il supprime la randomisation de chaque affectation
   • Il garantit que la meilleure variante est identifiée sans incertitude
6. A quoi sert une analyse de puissance avant un test A/B ?
   • Pour choisir un logo pour l'expérience
   • Pour estimer le nombre d'utilisateurs nécessaires pour détecter de manière fiable un effet réel
   • Pour chiffrer le trafic
   • Pour supprimer le groupe de contrôle
7. Que signale une inadéquation de rapport d'échantillonnage (SRM) lors d'un test A/B ?
   • Le modèle de traitement est forcément meilleur
   • L'expérience a une puissance statistique suffisante
   • Le nombre d'affectations observé diffère sensiblement de l'allocation configurée, ce qui peut indiquer un problème de données ou de randomisation.
   • La métrique principale s'est améliorée de manière causale
8. Pourquoi inclure des mesures de garde-fou aux côtés de la principale mesure de réussite d’une expérience ?
   • Pour garantir que le candidat gagne sur chaque métrique
   • Pour remplacer la métrique principale une fois les résultats observés
   • Pour éviter de définir une règle de décision avant le test
   • Détecter les préjudices significatifs dans d’autres résultats, même lorsque la mesure principale s’améliore