多臂強盜
多臂老虎機是一個決策問題，您在收益未知的選項中反覆進行選擇，並邊走邊學習，平衡探索新選項和利用找到的最佳選項。
概述
It powers A/B testing, recommendations, and online ad selection.
深入探討
這個名字來自於一名賭徒面對幾台老虎機（單臂強盜），每台老虎機的勝率都未知，他希望在多次抽獎中獲得最大的獎勵。核心張力是探索與利用的權衡：繼續拉看起來最好的手臂，或對不確定的手臂進行採樣以了解更多資訊。績效是透過遺憾來衡量的，即你的獎勵與始終選擇真正最好的手臂之間的累積差距；好的演算法所實現的遺憾僅隨輪數呈對數增長。經典策略包括 epsilon-greedy（利用，但以小機率隨機探索）、上置信界限（選擇具有最高樂觀估計的手臂）和湯普森採樣（從每個手臂的後驗信念中採樣並扮演獲勝者）。上下文強盜透過使用情況特徵進行選擇來擴展這一點。
技術洞察
UCB 體現了「不確定性下的樂觀」：它為每個臂的平均獎勵添加了置信度獎勵，大致為 (2 ln t over n_i) 的平方根，其中 t 是輪次，n_i 是嘗試臂 i 的次數。很少拉動的手臂會獲得大量獎勵並被探索；充分採樣的武器依賴於他們的估計。相反，湯普森採樣維護每個臂的貝葉斯後驗，並按每個臂最佳機率的比例進行探索。
戰略影響
成本與預算
多年來，架構決策決定著效能和營運成本。
更明確的決策
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
品質管控
更好的工程選擇可以減少生產中的可靠性事故。
多臂強盜的未來
Bandits 正在擴展到強化學習（它們構成最簡單的構建塊），以及透過上下文和神經 Bandits 讀取豐富特徵的大規模個人化。積極的研究針對隨時間變化的非平穩獎勵、具有安全或公平約束的強盜，以及將強盜與深度表示學習相結合。預計它們會嵌入自適應臨床試驗、動態定價和法學碩士系統中，這些系統可以在線上選擇提示或工具，同時控制遺憾。
現實世界的實施
新聞網站使用 bandits 來決定顯示哪個標題變體，從而快速將流量轉移到點擊次數最多的版本。
網路廣告平台透過湯普森採樣在廣告素材之間分配展示次數，以最大限度地提高點擊率，同時仍測試新廣告。
適應性臨床試驗將更多患者分配到顯示更好結果的治療中，從而減少劣勢手臂的暴露。
串流媒體服務透過讀取觀看歷史記錄功能的上下文強盜來調整每個用戶的推薦縮圖。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實際負載和資料條件下進行基準測試。
儀器監控錯誤、漂移和使用者影響。
在擴展之前準備回滾和事件回應路徑。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Armed Bandits quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Multi-Armed Bandits?
多臂老虎機是一個決策問題，您在收益未知的選項中反覆進行選擇，並邊走邊學習，平衡探索新選項和利用找到的最佳選項。它支援 A/B 測試、推薦和線上廣告選擇。
What is next for Multi-Armed Bandits?
Bandits 正在擴展到強化學習（它們構成最簡單的構建塊），以及透過上下文和神經 Bandits 讀取豐富特徵的大規模個人化。積極的研究針對隨時間變化的非平穩獎勵、具有安全或公平約束的強盜，以及將強盜與深度表示學習相結合。預計它們會嵌入自適應臨床試驗、動態定價和法學碩士系統中，這些系統可以在線上選擇提示或工具，同時控制遺憾。
epsilon-貪婪策略有什麼作用？
Epsilon-greedy 大部分時間都會利用目前最好的臂，並探索具有小機率 epsilon 的隨機臂。
上下文強盜與標準強盜有何不同？
上下文老虎機觀察每輪的輔助資訊（特徵），並使用它來選擇最適合該上下文的手臂。