多臂强盗
多臂老虎机是一个决策问题，您在收益未知的选项中反复进行选择，并边走边学习，平衡探索新选项和利用找到的最佳选项。
概述
It powers A/B testing, recommendations, and online ad selection.
深入探讨
这个名字来源于一名赌徒面对几台老虎机（单臂强盗），每台老虎机的胜率都未知，他希望在多次抽奖中获得最大的奖励。核心张力是探索与利用的权衡：继续拉看起来最好的手臂，或者对不确定的手臂进行采样以了解更多信息。绩效是通过遗憾来衡量的，即你的奖励与始终选择真正最好的手臂之间的累积差距；好的算法所实现的遗憾仅随轮数呈对数增长。经典策略包括 epsilon-greedy（利用，但以小概率随机探索）、上置信界限（选择具有最高乐观估计的手臂）和汤普森采样（从每个手臂的后验信念中采样并扮演获胜者）。上下文强盗通过使用情况特征进行选择来扩展这一点。
技术洞察
UCB 体现了“不确定性下的乐观”：它为每个臂的平均奖励添加了置信度奖励，大致为 (2 ln t over n_i) 的平方根，其中 t 是轮次，n_i 是尝试臂 i 的次数。很少拉动的手臂会获得大量奖励并被探索；充分采样的武器依赖于他们的估计。相反，汤普森采样维护每个臂的贝叶斯后验，并按每个臂最佳概率的比例进行探索。
战略影响
成本与预算
多年来，架构决策决定着性能和运营成本。
更清晰的判决
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
质量控制
更好的工程选择可以减少生产中的可靠性事故。
多臂强盗的未来
Bandits 正在扩展到强化学习（它们构成最简单的构建块），以及通过上下文和神经 Bandits 读取丰富特征的大规模个性化。积极的研究针对随时间变化的非平稳奖励、具有安全或公平约束的强盗，以及将强盗与深度表示学习相结合。预计它们会嵌入自适应临床试验、动态定价和法学硕士系统中，这些系统可以在线选择提示或工具，同时控制遗憾。
现实世界的实施
新闻网站使用 bandits 来决定显示哪个标题变体，从而快速将流量转移到点击次数最多的版本。
在线广告平台通过汤普森采样在广告素材之间分配展示次数，以最大限度地提高点击率，同时仍然测试新广告。
适应性临床试验将更多患者分配到显示更好结果的治疗中，从而减少劣势手臂的暴露。
流媒体服务通过读取观看历史记录功能的上下文强盗来调整每个用户的推荐缩略图。
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实际负载和数据条件下进行基准测试。
仪器监控错误、漂移和用户影响。
在扩展之前准备回滚和事件响应路径。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Armed Bandits quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Multi-Armed Bandits?
多臂老虎机是一个决策问题，您在收益未知的选项中反复进行选择，并边走边学习，平衡探索新选项和利用找到的最佳选项。它支持 A/B 测试、推荐和在线广告选择。
What is next for Multi-Armed Bandits?
Bandits 正在扩展到强化学习（它们构成最简单的构建块），以及通过上下文和神经 Bandits 读取丰富特征的大规模个性化。积极的研究针对随时间变化的非平稳奖励、具有安全或公平约束的强盗，以及将强盗与深度表示学习相结合。预计它们会嵌入自适应临床试验、动态定价和法学硕士系统中，这些系统可以在线选择提示或工具，同时控制遗憾。
epsilon-贪婪策略有什么作用？
Epsilon-greedy 大部分时间都会利用当前最好的臂，并探索具有小概率 epsilon 的随机臂。
上下文强盗与标准强盗有何不同？
上下文老虎机观察每轮的辅助信息（特征），并使用它来选择最适合该上下文的手臂。