引导式测验 · 中等 等级
ML 模型测验的 A/B 测试
检查在线模型实验的基础，包括随机分配、假设检验、自适应分配和护栏。
问题 1 的 8
为什么团队在生产中进行 A/B 测试模型而不是信任离线指标？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 为什么团队在生产中进行 A/B 测试模型而不是信任离线指标？
- 具有更好离线准确性的模型仍然会损害真实的业务指标
- 离线指标不合法
- 生产比离线测试便宜
- 离线数据不存在
- 随机分配在 A/B 测试中起什么作用？
- 它使测试运行得更快
- 它支持期望中的群体之间的平衡，但受设计和实施假设的影响
- 它删除有偏见的用户
- 它减少了所需模型的数量
- 在模型 A/B 测试中，治疗组通常会发生什么？
- 候选人分数请求，但所有输出均被保留
- 每个用户都被分配到两个模型以做出相同的决策
- 候选模型为随机分配的组提供面向用户的决策
- 在进行任何比较之前删除控制模型
- 在原假设和规定的检验假设下，如何解释 p 值？
- 作为原假设为真的概率
- 作为治疗导致观察到的结果的概率
- 作为实验重复的概率
- 如果原假设成立，则数据的概率至少达到这个极端
- 多臂老虎机如何在实验运行时改变实验？
- 它可以将更多流量分配给具有更好观察结果的变体，而将更少的流量分配给其他变体
- 它使每个变体始终保持固定的平等分配
- 它消除了每个作业的随机性
- 它保证毫无不确定性地识别出最佳变体
- A/B 测试之前功率分析的目的是什么？
- 为实验选择一个徽标
- 估计需要多少用户才能可靠地检测到真实效果
- 加密流量
- 删除控制组
- A/B 测试期间样本比不匹配 (SRM) 发出什么信号？
- 治疗模式必然更好
- 实验具有足够的统计功效
- 观察到的分配计数与配置的分配有很大不同，这可能表明存在数据或随机化问题
- 主要指标因因果关系而改善
- 为什么要在实验的主要成功指标旁边包含护栏指标？
- 确保候选人在每项指标上都获胜
- 观察结果后替换主要指标
- 避免在测试前定义决策规则
- 即使主要指标有所改善，也要检测其他结果中有意义的危害