Q-學習
Q-Learning 是一種強化學習演算法，透過反覆試驗逐漸了解每個動作的價值，從而教導智能體哪些動作效果最好。
概述
它很重要，因為它能在不被告知環境規則的情況下找到最佳行為。
深入探討
Q-Learning 學習一個稱為 Q(s, a) 的函數：在狀態 s 下採取行動 a 並隨後採取最佳行動的預期長期獎勵。代理開始一無所知，嘗試行動並觀察獎勵。每一步之後，它都會將其 Q 值估計推向剛剛收到的獎勵加上它期望從下一個狀態獲得的最佳折現未來值。至關重要的是，它是「脫離策略」和「無模型」的：它可以在隨機探索的同時學習最佳策略，並且它永遠不需要世界如何轉變的模型。如果對每個狀態-動作對進行足夠的探索，Q 值可以證明收斂到最優值，並且任何狀態中的最佳動作就是具有最高 Q 的動作。
技術洞察
核心是貝爾曼更新：Q(s,a) <- Q(s,a) + alpha[r + gamma*max_a' Q(s',a') - Q(s,a)]。 Alpha 是學習率，gamma 是加權未來獎勵的折扣因子，括號內的項是時間差異誤差。下一步行動的「最大值」使其脫離策略，並讓它即使在探索時也能學習貪婪的最優策略。探索通常透過 epsilon-greedy 動作選擇來處理。
戰略影響
成本與預算
多年來，架構決策決定著效能和營運成本。
更明確的決策
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
品質管控
更好的工程選擇可以減少生產中的可靠性事故。
Q-Learning 的未來
當狀態太多而無法儲存在表中時，經典的表格 Q-Learning 就會陷入困境。主要方向是將其與神經網路結合，例如深度 Q 網路 (DQN)，它根據像素等原始輸入來近似 Q 值。研究仍在繼續透過經驗回放、目標網路以及 Double DQN 和分散式 Q-Learning 等變體來穩定這一點，這些變體可以減少高估偏差並代表完整的回報分佈而不是單一平均值。
現實世界的實施
Atari 遊戲代理商（DeepMind 的 DQN）學習直接從螢幕像素玩 Breakout 和 Pong
優化十字路口的交通燈配時，以最大限度地減少車輛總等待時間
機器人透過網格或迷宮導航，機器人學習最短的獎勵最大化路徑
動態定價和庫存決策，代理人了解哪些行動可以最大化長期利潤
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實際負載和資料條件下進行基準測試。
儀器監控錯誤、漂移和使用者影響。
在擴展之前準備回滾和事件回應路徑。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Q-Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
什麼是 Q-Learning？
Q-Learning 是一種強化學習演算法，透過反覆試驗逐漸了解每個動作的價值，從而教導智能體哪些動作效果最好。這很重要，因為它可以在不被告知環境規則的情況下找到最佳行為。
Q值Q(s, a)代表什麼？
Q(s, a) 估計在狀態 s 中採取行動 a 並在此後表現最佳的總折扣未來獎勵，而不僅僅是立即獎勵。
為什麼 Q-Learning 被描述為「偏離策略」？
下一步行動的最大值意味著即使代理人探索不同的行為策略，Q-Learning 也能學習貪婪最優策略的價值。
更新規則中，折扣因子gamma控制什麼？
Gamma（0 到 1 之間）對未來獎勵進行折扣；接近 1 的值使智能體有遠見，接近 0 的值使其近視。
Q-Learning 中的時間差 (TD) 誤差是多少？
TD誤差是新的目標估計值（獎勵加上最佳折現未來值）與舊的Q估計之間的差距；此次更新縮小了這一差距。
為什麼普通的表格 Q-Learning 難以解決像像素電玩遊戲這樣的大問題？
查找表需要每個狀態-動作對一個條目，當狀態數量達到數十億時這是不可行的，這激發了像 DQN 這樣的神經網路逼近器。