概述
它支持 A/B 测试、推荐和在线广告选择。
深入探讨
这个名字来源于一名赌徒面对几台老虎机（单臂强盗），每台老虎机的胜率都未知，他希望在多次抽奖中获得最大的奖励。核心张力是探索与利用的权衡：继续拉看起来最好的手臂，或者对不确定的手臂进行采样以了解更多信息。绩效是通过遗憾来衡量的，即你的奖励与始终选择真正最好的手臂之间的累积差距；好的算法所实现的遗憾仅随轮数呈对数增长。经典策略包括 epsilon-greedy（利用，但以小概率随机探索）、上置信界限（选择具有最高乐观估计的手臂）和汤普森采样（从每个手臂的后验信念中采样并扮演获胜者）。上下文强盗通过使用情况特征进行选择来扩展这一点。
现实世界的实施
新闻网站使用 bandits 来决定显示哪个标题变体，从而快速将流量转移到点击次数最多的版本。
在线广告平台通过汤普森采样在广告素材之间分配展示次数，以最大限度地提高点击率，同时仍然测试新广告。
适应性临床试验将更多患者分配到显示更好结果的治疗中，从而减少劣势手臂的暴露。
流媒体服务通过读取观看历史记录功能的上下文强盗来调整每个用户的推荐缩略图。
多臂强盗的未来
Bandits 正在扩展到强化学习（它们构成最简单的构建块），以及通过上下文和神经 Bandits 读取丰富特征的大规模个性化。积极的研究针对随时间变化的非平稳奖励、具有安全或公平约束的强盗，以及将强盗与深度表示学习相结合。预计它们会嵌入自适应临床试验、动态定价和法学硕士系统中，这些系统可以在线选择提示或工具，同时控制遗憾。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是多臂强盗？
多臂老虎机是一个决策问题，您在收益未知的选项中反复进行选择，并边走边学习，平衡探索新选项和利用找到的最佳选项。它支持 A/B 测试、推荐和在线广告选择。
epsilon-贪婪策略有什么作用？
Epsilon-greedy 大部分时间都会利用当前最好的臂，并探索具有小概率 epsilon 的随机臂。
上下文强盗与标准强盗有何不同？
上下文老虎机观察每轮的辅助信息（特征），并使用它来选择最适合该上下文的手臂。
在 UCB 中，哪个分支通常会获得更大的探索奖励？
对于样本不足的组，UCB 奖励较大，但随着数量的增加而减少。
从长远来看，对数后悔增长表明什么？
对数后悔在轮数中是次线性的，因此每轮的平均后悔会随着时间的推移而减少。