āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļēāļĢāļāļąāļāļāļēāļĢāļēāļāļāļąāļāļĢāļēāļāļēāļĢāđāļĢāļĩāļĒāļāļĢāļđāđ
āđāļāļāļāļīāļ
āļāļđāđāļĄāļ·āļāļāļēāļāđāļāļāļāļīāļ
Q-Learning āđāļāđāļāļāļąāļĨāļāļāļĢāļīāļāļķāļĄāļāļēāļĢāđāļĢāļĩāļĒāļāļĢāļđāđāđāļāļāđāļŠāļĢāļīāļĄāļāļģāļĨāļąāļāļāļĩāđāļŠāļāļāļāļąāļ§āđāļāļāļ§āđāļēāļāļēāļĢāļāļĢāļ°āļāļģāđāļāđāļŦāđāļāļĨāļāļĩāļāļĩāđāļŠāļļāļāđāļāļĒāļāļēāļĢāļāđāļāļĒāđ āđāļĢāļĩāļĒāļāļĢāļđāđāļāļļāļāļāđāļēāļāļāļāļāļēāļĢāđāļāļĨāļ·āđāļāļāđāļŦāļ§āđāļāđāļĨāļ°āļāļĢāļąāđāļāļāđāļēāļāļāļēāļĢāļĨāļāļāļāļīāļāļĨāļāļāļāļđāļ
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
It matters because it can find optimal behavior without ever being told the rules of its environment.
Q-Learning āđāļĢāļĩāļĒāļāļĢāļđāđāļāļąāļāļāđāļāļąāļāļāļĩāđāđāļĢāļĩāļĒāļāļ§āđāļē Q(s, a): āļĢāļēāļāļ§āļąāļĨāļĢāļ°āļĒāļ°āļĒāļēāļ§āļāļĩāđāļāļēāļāļŦāļ§āļąāļāļāļēāļāļāļēāļĢāļāļģāđāļāļīāļāļāļēāļĢ 'a' āđāļāļŠāļāļēāļāļ° 's' āļāļēāļāļāļąāđāļāļāļķāļāļāļģāļŦāļāđāļēāļāļĩāđāļāļĒāđāļēāļāđāļŦāļĄāļēāļ°āļŠāļĄāļāļĩāđāļŠāļļāļāđāļāļ āļēāļĒāļŦāļĨāļąāļ āđāļāđāļēāļŦāļāđāļēāļāļĩāđāđāļĢāļīāđāļĄāđāļĄāđāļĢāļđāđāļāļ°āđāļĢāđāļĨāļĒ āļāļĒāļēāļĒāļēāļĄāļāļģāđāļāļīāļāļāļēāļĢ āđāļĨāļ°āļŠāļąāļāđāļāļāļĢāļēāļāļ§āļąāļĨ āļŦāļĨāļąāļāļāļēāļāđāļāđāļĨāļ°āļāļąāđāļāļāļāļ āļĢāļ°āļāļāļāļ°āļāļĒāļąāļāļāđāļēāļāļĢāļ°āļĄāļēāļ Q āđāļāļĒāļąāļāļĢāļēāļāļ§āļąāļĨāļāļĩāđāđāļāļīāđāļāđāļāđāļĢāļąāļ āļāļ§āļāļāļąāļāļĄāļđāļĨāļāđāļēāļŠāđāļ§āļāļĨāļāđāļāļāļāļēāļāļāļāļĩāđāļāļĩāļāļĩāđāļŠāļļāļāļāļĩāđāļāļēāļāļŦāļ§āļąāļāļāļēāļāļŠāļāļēāļāļ°āļāļąāļāđāļ āļŠāļīāđāļāļŠāļģāļāļąāļāļāļĩāđāļŠāļļāļāļāļ·āļ 'āļāļāļāļāđāļĒāļāļēāļĒ' āđāļĨāļ° 'āđāļĢāđāđāļāļāļāļģāļĨāļāļ' āđāļāļĒāļŠāļēāļĄāļēāļĢāļāđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļĒāļāļēāļĒāļāļĩāđāļāļĩāļāļĩāđāļŠāļļāļāđāļāļāļāļ°āļāļĩāđāļŠāļģāļĢāļ§āļāđāļāļāļŠāļļāđāļĄ āđāļĨāļ°āđāļĄāđāļāļģāđāļāđāļāļāđāļāļāļĄāļĩāđāļāļāļāļģāļĨāļāļāļ§āđāļēāđāļĨāļāđāļāļĨāļĩāđāļĒāļāđāļāļĨāļāļāļĒāđāļēāļāđāļĢ āđāļĄāļ·āđāļāļĄāļĩāļāļēāļĢāļŠāļģāļĢāļ§āļāļāļđāđāļŠāļāļēāļāļ°-āļāļēāļĢāļāļĢāļ°āļāļģāļāļļāļāļāļđāđāļāļĒāđāļēāļāđāļāļĩāļĒāļāļāļ āļāđāļē Q āļāļ°āļāļĢāļĢāļāļāļāļąāļāđāļāđāļāļāđāļēāļāļĩāđāđāļŦāļĄāļēāļ°āļŠāļĄāļāļĩāđāļŠāļļāļ āđāļĨāļ°āļāļēāļĢāļāļĢāļ°āļāļģāļāļĩāđāļāļĩāļāļĩāđāļŠāļļāļāđāļāļŠāļāļēāļāļ°āđāļāđ āļāđāļāļ·āļāļāđāļē Q āļāļĩāđāļŠāļđāļāļāļĩāđāļŠāļļāļ
āļāļąāļ§āđāļāļāļāļēāļĢāđāļĨāđāļāđāļāļĄ Atari (DQN āļāļāļ DeepMind) āđāļĢāļĩāļĒāļāļĢāļđāđāļāļēāļĢāđāļĨāđāļ Breakout āđāļĨāļ° Pong āđāļāļĒāļāļĢāļāļāļēāļāļāļīāļāđāļāļĨāļāļāļŦāļāđāļēāļāļ
āļāļēāļĢāļāļĢāļąāļāļāļąāļāļŦāļ§āļ°āđāļ§āļĨāļēāļŠāļąāļāļāļēāļāđāļāļāļĢāļēāļāļĢāđāļŦāđāđāļŦāļĄāļēāļ°āļŠāļĄāļāļĩāđāļāļēāļāđāļĒāļāđāļāļ·āđāļāļĨāļāđāļ§āļĨāļēāļĢāļāļĢāļāļāļąāđāļāļŦāļĄāļ
āļāļēāļĢāļāļģāļāļēāļāļāļāļāļŦāļļāđāļāļĒāļāļāđāļāđāļēāļāļāļēāļĢāļēāļāļŦāļĢāļ·āļāđāļāļēāļ§āļāļāļāļāļĩāđāļŦāļļāđāļāļĒāļāļāđāđāļĢāļĩāļĒāļāļĢāļđāđāđāļŠāđāļāļāļēāļāļāļēāļĢāđāļŦāđāļĢāļēāļāļ§āļąāļĨāļŠāļđāļāļŠāļļāļāļāļĩāđāļŠāļąāđāļāļāļĩāđāļŠāļļāļ
āļāļēāļĢāļāļąāļāļŠāļīāļāđāļāļāđāļēāļāļāļēāļĢāļāļģāļŦāļāļāļĢāļēāļāļēāđāļĨāļ°āļŠāļīāļāļāđāļēāļāļāļāļĨāļąāļāđāļāļāđāļāļāļēāļĄāļīāļ āļāļķāđāļāļāļąāļ§āđāļāļāļāļ°āđāļĢāļĩāļĒāļāļĢāļđāđāļ§āđāļēāļāļēāļĢāļāļģāđāļāļīāļāļāļēāļĢāđāļāļāļ°āđāļāļīāđāļĄāļāļĨāļāļģāđāļĢāđāļāļĢāļ°āļĒāļ°āļĒāļēāļ§āļŠāļđāļāļŠāļļāļ
Q-Learning āđāļāļāļāļēāļĢāļēāļāļāļĨāļēāļŠāļŠāļīāļāļāļĢāļ°āļŠāļāļāļąāļāļŦāļēāđāļĄāļ·āđāļāļĄāļĩāļŠāļāļēāļāļ°āļĄāļēāļāđāļāļīāļāđāļāļāļĩāđāļāļ°āļāļąāļāđāļāđāļāđāļ§āđāđāļāļāļēāļĢāļēāļ āļāļīāļĻāļāļēāļāļāļĩāđāđāļāļāđāļāđāļāļāļ·āļāļāļēāļĢāļĢāļ§āļĄāļĄāļąāļāđāļāđāļēāļāļąāļāđāļāļĢāļāļāđāļēāļĒāļāļĢāļ°āļŠāļēāļāđāļāļĩāļĒāļĄ āđāļāđāļāđāļāļĩāļĒāļ§āļāļąāļāđāļ Deep Q-Networks (DQN) āļāļķāđāļāļāļĢāļ°āļĄāļēāļāļāđāļē Q āļāļēāļāļāļīāļāļāļļāļāļāļīāļāđāļāđāļāļāļīāļāđāļāļĨ āļāļēāļĢāļ§āļīāļāļąāļĒāļĒāļąāļāļāļāļĢāļąāļāļĐāļēāđāļŠāļāļĩāļĒāļĢāļ āļēāļāļāļĩāđāļāđāļ§āļĒāļāļēāļĢāđāļĨāđāļāļāđāļģāļāļĢāļ°āļŠāļāļāļēāļĢāļāđ āđāļāļĢāļ·āļāļāđāļēāļĒāđāļāđāļēāļŦāļĄāļēāļĒ āđāļĨāļ°āļĢāļđāļāđāļāļāļāđāļēāļāđ āđāļāđāļ Double DQN āđāļĨāļ° Q-Learning āđāļāļāļāļĢāļ°āļāļēāļĒāļāļĩāđāļāđāļ§āļĒāļĨāļāļāļāļāļīāđāļāļāļēāļĢāļāļĢāļ°āđāļĄāļīāļāļāđāļēāļŠāļđāļāđāļāļīāļāđāļ āđāļĨāļ°āđāļŠāļāļāļāļķāļāļāļēāļĢāļāļĢāļ°āļāļēāļĒāļāļĨāļāļāļāđāļāļāļāļąāđāļāļŦāļĄāļ āđāļāļāļāļĩāđāļāļ°āđāļāđāļāļāđāļēāđāļāļĨāļĩāđāļĒāđāļāļĩāđāļĒāļ§
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
Q-Learning āđāļāđāļāļāļąāļĨāļāļāļĢāļīāļāļķāļĄāļāļēāļĢāđāļĢāļĩāļĒāļāļĢāļđāđāđāļāļāđāļŠāļĢāļīāļĄāļāļģāļĨāļąāļāļāļĩāđāļŠāļāļāļāļąāļ§āđāļāļāļ§āđāļēāļāļēāļĢāļāļĢāļ°āļāļģāđāļāđāļŦāđāļāļĨāļāļĩāļāļĩāđāļŠāļļāļāđāļāļĒāļāļēāļĢāļāđāļāļĒāđ āđāļĢāļĩāļĒāļāļĢāļđāđāļāļļāļāļāđāļēāļāļāļāļāļēāļĢāđāļāļĨāļ·āđāļāļāđāļŦāļ§āđāļāđāļĨāļ°āļāļĢāļąāđāļāļāđāļēāļāļāļēāļĢāļĨāļāļāļāļīāļāļĨāļāļāļāļđāļ āļŠāļīāđāļāļŠāļģāļāļąāļāļāļ·āļāļŠāļēāļĄāļēāļĢāļāļāđāļāļŦāļēāļāļĪāļāļīāļāļĢāļĢāļĄāļāļĩāđāđāļŦāļĄāļēāļ°āļŠāļĄāđāļāđāđāļāļĒāđāļĄāđāļāđāļāļāļāļāļāļāļāđāļāļāļāđāļāļāļāļŠāļ āļēāļāđāļ§āļāļĨāđāļāļĄāļĄāļēāļāđāļāļ
Q(s, a) āļāļĢāļ°āļĄāļēāļāļāļēāļĢāļĢāļēāļāļ§āļąāļĨāđāļāļāļāļēāļāļāļāļĩāđāļĄāļĩāļŠāđāļ§āļāļĨāļāļāļąāđāļāļŦāļĄāļāļāļēāļāļāļēāļĢāļāļģāđāļāļīāļāļāļēāļĢ a āđāļāļŠāļāļēāļāļ° āđāļĨāļ°āļāļĢāļ°āļāļĪāļāļīāļāļāļāļĒāđāļēāļāđāļŦāļĄāļēāļ°āļŠāļĄāļŦāļĨāļąāļāļāļēāļāļāļąāđāļ āđāļĄāđāđāļāđāđāļāđāļĢāļēāļāļ§āļąāļĨāđāļāļāļąāļāļāļĩ
āļāļēāļĢāļāļģāđāļāļīāļāļāļēāļĢāļŠāļđāļāļŠāļļāļāđāļāļāđāļ§āļāļāļąāļāđāļāļŦāļĄāļēāļĒāļāļ§āļēāļĄāļ§āđāļē Q-Learning āđāļĢāļĩāļĒāļāļĢāļđāđāļāļļāļāļāđāļēāļāļāļāļāđāļĒāļāļēāļĒāļāļĩāđāđāļŦāļĄāļēāļ°āļŠāļĄāļāļĩāđāļŠāļļāļāđāļĨāļ āđāļĄāđāļ§āđāļēāļāļąāļ§āđāļāļāļāļ°āļŠāļģāļĢāļ§āļāļāđāļ§āļĒāļāđāļĒāļāļēāļĒāļāļĪāļāļīāļāļĢāļĢāļĄāļāļĩāđāđāļāļāļāđāļēāļāļāļąāļāļāđāļāļēāļĄ
āđāļāļĄāļĄāļē (āļĢāļ°āļŦāļ§āđāļēāļ 0 āļāļķāļ 1) āļĨāļāļĢāļēāļāļēāļĢāļēāļāļ§āļąāļĨāđāļāļāļāļēāļāļ āļāđāļēāđāļāļĨāđ 1 āļāļģāđāļŦāđāđāļāđāļāļāļāđāļĄāļĩāļŠāļēāļĒāļāļēāļĒāļēāļ§ āļāđāļēāđāļāļĨāđ 0 āļāļģāđāļŦāđāļĄāļĩāļŠāļēāļĒāļāļēāļŠāļąāđāļ
āļāđāļāļāļīāļāļāļĨāļēāļ TD āļāļ·āļāļāđāļāļāļ§āđāļēāļāļĢāļ°āļŦāļ§āđāļēāļāļāļēāļĢāļāļĢāļ°āļĄāļēāļāļāļēāļĢāđāļāđāļēāļŦāļĄāļēāļĒāđāļŦāļĄāđ (āļĢāļēāļāļ§āļąāļĨāļāļ§āļāļĄāļđāļĨāļāđāļēāļŠāđāļ§āļāļĨāļāđāļāļāļāļēāļāļāļāļĩāđāļāļĩāļāļĩāđāļŠāļļāļ) āđāļĨāļ°āļāļēāļĢāļāļĢāļ°āļĄāļēāļāļāļēāļĢ Q āđāļāļāđāļāđāļē āļāļēāļĢāļāļąāļāđāļāļāļāļ°āļĨāļāļāđāļāļāļ§āđāļēāļāļāļĩāđāļĨāļ
āļāļēāļĢāļēāļāļāđāļāļŦāļēāļāļģāđāļāđāļāļāđāļāļāļĄāļĩāļĢāļēāļĒāļāļēāļĢāļāđāļāļāļđāđāļŠāļāļēāļāļ°-āļāļēāļĢāļāļģāđāļāļīāļāļāļēāļĢ āļāļķāđāļāđāļāđāļāđāļāđāļĄāđāđāļāđāđāļĄāļ·āđāļāļĢāļąāļāļĄāļĩāļāļģāļāļ§āļāļŦāļĨāļēāļĒāļāļąāļāļĨāđāļēāļāļĢāļēāļĒāļāļēāļĢ āļāļķāđāļāļāļĢāļ°āļāļļāđāļāđāļŦāđāđāļāļīāļāļāļąāļ§āļāļĢāļ°āļĄāļēāļāļāđāļēāđāļāļĢāļ·āļāļāđāļēāļĒāļāļĢāļ°āļŠāļēāļāđāļāļĩāļĒāļĄ āđāļāđāļ DQN
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļēāļĢāļāļąāļāļāļēāļĢāļēāļāļāļąāļāļĢāļēāļāļēāļĢāđāļĢāļĩāļĒāļāļĢāļđāđ
āđāļāļāļāļīāļ