āļ„āļđāđˆāļĄāļ·āļ­āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„

Q-āļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰

Q-Learning āđ€āļ›āđ‡āļ™āļ­āļąāļĨāļāļ­āļĢāļīāļ˜āļķāļĄāļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđāļšāļšāđ€āļŠāļĢāļīāļĄāļāļģāļĨāļąāļ‡āļ—āļĩāđˆāļŠāļ­āļ™āļ•āļąāļ§āđāļ—āļ™āļ§āđˆāļēāļāļēāļĢāļāļĢāļ°āļ—āļģāđƒāļ”āđƒāļŦāđ‰āļœāļĨāļ”āļĩāļ—āļĩāđˆāļŠāļļāļ”āđ‚āļ”āļĒāļāļēāļĢāļ„āđˆāļ­āļĒāđ† āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ„āļļāļ“āļ„āđˆāļēāļ‚āļ­āļ‡āļāļēāļĢāđ€āļ„āļĨāļ·āđˆāļ­āļ™āđ„āļŦāļ§āđāļ•āđˆāļĨāļ°āļ„āļĢāļąāđ‰āļ‡āļœāđˆāļēāļ™āļāļēāļĢāļĨāļ­āļ‡āļœāļīāļ”āļĨāļ­āļ‡āļ–āļđāļ

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡ Q-Learning
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

It matters because it can find optimal behavior without ever being told the rules of its environment.

āđ€āļˆāļēāļ°āļĨāļķāļ

Q-Learning āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļŸāļąāļ‡āļāđŒāļŠāļąāļ™āļ—āļĩāđˆāđ€āļĢāļĩāļĒāļāļ§āđˆāļē Q(s, a): āļĢāļēāļ‡āļ§āļąāļĨāļĢāļ°āļĒāļ°āļĒāļēāļ§āļ—āļĩāđˆāļ„āļēāļ”āļŦāļ§āļąāļ‡āļˆāļēāļāļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢ 'a' āđƒāļ™āļŠāļ–āļēāļ™āļ° 's' āļˆāļēāļāļ™āļąāđ‰āļ™āļˆāļķāļ‡āļ—āļģāļŦāļ™āđ‰āļēāļ—āļĩāđˆāļ­āļĒāđˆāļēāļ‡āđ€āļŦāļĄāļēāļ°āļŠāļĄāļ—āļĩāđˆāļŠāļļāļ”āđƒāļ™āļ āļēāļĒāļŦāļĨāļąāļ‡ āđ€āļˆāđ‰āļēāļŦāļ™āđ‰āļēāļ—āļĩāđˆāđ€āļĢāļīāđˆāļĄāđ„āļĄāđˆāļĢāļđāđ‰āļ­āļ°āđ„āļĢāđ€āļĨāļĒ āļžāļĒāļēāļĒāļēāļĄāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢ āđāļĨāļ°āļŠāļąāļ‡āđ€āļāļ•āļĢāļēāļ‡āļ§āļąāļĨ āļŦāļĨāļąāļ‡āļˆāļēāļāđāļ•āđˆāļĨāļ°āļ‚āļąāđ‰āļ™āļ•āļ­āļ™ āļĢāļ°āļšāļšāļˆāļ°āļ‚āļĒāļąāļšāļ„āđˆāļēāļ›āļĢāļ°āļĄāļēāļ“ Q āđ„āļ›āļĒāļąāļ‡āļĢāļēāļ‡āļ§āļąāļĨāļ—āļĩāđˆāđ€āļžāļīāđˆāļ‡āđ„āļ”āđ‰āļĢāļąāļš āļšāļ§āļāļāļąāļšāļĄāļđāļĨāļ„āđˆāļēāļŠāđˆāļ§āļ™āļĨāļ”āđƒāļ™āļ­āļ™āļēāļ„āļ•āļ—āļĩāđˆāļ”āļĩāļ—āļĩāđˆāļŠāļļāļ”āļ—āļĩāđˆāļ„āļēāļ”āļŦāļ§āļąāļ‡āļˆāļēāļāļŠāļ–āļēāļ™āļ°āļ–āļąāļ”āđ„āļ› āļŠāļīāđˆāļ‡āļŠāļģāļ„āļąāļāļ—āļĩāđˆāļŠāļļāļ”āļ„āļ·āļ­ 'āļ™āļ­āļāļ™āđ‚āļĒāļšāļēāļĒ' āđāļĨāļ° 'āđ„āļĢāđ‰āđāļšāļšāļˆāļģāļĨāļ­āļ‡' āđ‚āļ”āļĒāļŠāļēāļĄāļēāļĢāļ–āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ™āđ‚āļĒāļšāļēāļĒāļ—āļĩāđˆāļ”āļĩāļ—āļĩāđˆāļŠāļļāļ”āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆāļŠāļģāļĢāļ§āļˆāđāļšāļšāļŠāļļāđˆāļĄ āđāļĨāļ°āđ„āļĄāđˆāļˆāļģāđ€āļ›āđ‡āļ™āļ•āđ‰āļ­āļ‡āļĄāļĩāđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ§āđˆāļēāđ‚āļĨāļāđ€āļ›āļĨāļĩāđˆāļĒāļ™āđāļ›āļĨāļ‡āļ­āļĒāđˆāļēāļ‡āđ„āļĢ āđ€āļĄāļ·āđˆāļ­āļĄāļĩāļāļēāļĢāļŠāļģāļĢāļ§āļˆāļ„āļđāđˆāļŠāļ–āļēāļ™āļ°-āļāļēāļĢāļāļĢāļ°āļ—āļģāļ—āļļāļāļ„āļđāđˆāļ­āļĒāđˆāļēāļ‡āđ€āļžāļĩāļĒāļ‡āļžāļ­ āļ„āđˆāļē Q āļˆāļ°āļšāļĢāļĢāļˆāļšāļāļąāļ™āđ€āļ›āđ‡āļ™āļ„āđˆāļēāļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄāļ—āļĩāđˆāļŠāļļāļ” āđāļĨāļ°āļāļēāļĢāļāļĢāļ°āļ—āļģāļ—āļĩāđˆāļ”āļĩāļ—āļĩāđˆāļŠāļļāļ”āđƒāļ™āļŠāļ–āļēāļ™āļ°āđƒāļ”āđ† āļāđ‡āļ„āļ·āļ­āļ„āđˆāļē Q āļ—āļĩāđˆāļŠāļđāļ‡āļ—āļĩāđˆāļŠāļļāļ”

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

āļ•āļąāļ§āđāļ—āļ™āļāļēāļĢāđ€āļĨāđˆāļ™āđ€āļāļĄ Atari (DQN āļ‚āļ­āļ‡ DeepMind) āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļāļēāļĢāđ€āļĨāđˆāļ™ Breakout āđāļĨāļ° Pong āđ‚āļ”āļĒāļ•āļĢāļ‡āļˆāļēāļāļžāļīāļāđ€āļ‹āļĨāļšāļ™āļŦāļ™āđ‰āļēāļˆāļ­

āļāļēāļĢāļ›āļĢāļąāļšāļˆāļąāļ‡āļŦāļ§āļ°āđ€āļ§āļĨāļēāļŠāļąāļāļāļēāļ“āđ„āļŸāļˆāļĢāļēāļˆāļĢāđƒāļŦāđ‰āđ€āļŦāļĄāļēāļ°āļŠāļĄāļ—āļĩāđˆāļ—āļēāļ‡āđāļĒāļāđ€āļžāļ·āđˆāļ­āļĨāļ”āđ€āļ§āļĨāļēāļĢāļ­āļĢāļ–āļ—āļąāđ‰āļ‡āļŦāļĄāļ”

āļāļēāļĢāļ™āļģāļ—āļēāļ‡āļ‚āļ­āļ‡āļŦāļļāđˆāļ™āļĒāļ™āļ•āđŒāļœāđˆāļēāļ™āļ•āļēāļĢāļēāļ‡āļŦāļĢāļ·āļ­āđ€āļ‚āļēāļ§āļ‡āļāļ•āļ—āļĩāđˆāļŦāļļāđˆāļ™āļĒāļ™āļ•āđŒāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđ€āļŠāđ‰āļ™āļ—āļēāļ‡āļāļēāļĢāđƒāļŦāđ‰āļĢāļēāļ‡āļ§āļąāļĨāļŠāļđāļ‡āļŠāļļāļ”āļ—āļĩāđˆāļŠāļąāđ‰āļ™āļ—āļĩāđˆāļŠāļļāļ”

āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ”āđ‰āļēāļ™āļāļēāļĢāļāļģāļŦāļ™āļ”āļĢāļēāļ„āļēāđāļĨāļ°āļŠāļīāļ™āļ„āđ‰āļēāļ„āļ‡āļ„āļĨāļąāļ‡āđāļšāļšāđ„āļ”āļ™āļēāļĄāļīāļ āļ‹āļķāđˆāļ‡āļ•āļąāļ§āđāļ—āļ™āļˆāļ°āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ§āđˆāļēāļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāđƒāļ”āļˆāļ°āđ€āļžāļīāđˆāļĄāļœāļĨāļāļģāđ„āļĢāđƒāļ™āļĢāļ°āļĒāļ°āļĒāļēāļ§āļŠāļđāļ‡āļŠāļļāļ”

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡ Q-Learning

Q-Learning āđāļšāļšāļ•āļēāļĢāļēāļ‡āļ„āļĨāļēāļŠāļŠāļīāļāļ›āļĢāļ°āļŠāļšāļ›āļąāļāļŦāļēāđ€āļĄāļ·āđˆāļ­āļĄāļĩāļŠāļ–āļēāļ™āļ°āļĄāļēāļāđ€āļāļīāļ™āđ„āļ›āļ—āļĩāđˆāļˆāļ°āļˆāļąāļ”āđ€āļāđ‡āļšāđ„āļ§āđ‰āđƒāļ™āļ•āļēāļĢāļēāļ‡ āļ—āļīāļĻāļ—āļēāļ‡āļ—āļĩāđˆāđ‚āļ”āļ”āđ€āļ”āđˆāļ™āļ„āļ·āļ­āļāļēāļĢāļĢāļ§āļĄāļĄāļąāļ™āđ€āļ‚āđ‰āļēāļāļąāļšāđ‚āļ„āļĢāļ‡āļ‚āđˆāļēāļĒāļ›āļĢāļ°āļŠāļēāļ—āđ€āļ—āļĩāļĒāļĄ āđ€āļŠāđˆāļ™āđ€āļ”āļĩāļĒāļ§āļāļąāļšāđƒāļ™ Deep Q-Networks (DQN) āļ‹āļķāđˆāļ‡āļ›āļĢāļ°āļĄāļēāļ“āļ„āđˆāļē Q āļˆāļēāļāļ­āļīāļ™āļžāļļāļ•āļ”āļīāļšāđ€āļŠāđˆāļ™āļžāļīāļāđ€āļ‹āļĨ āļāļēāļĢāļ§āļīāļˆāļąāļĒāļĒāļąāļ‡āļ„āļ‡āļĢāļąāļāļĐāļēāđ€āļŠāļ–āļĩāļĒāļĢāļ āļēāļžāļ™āļĩāđ‰āļ”āđ‰āļ§āļĒāļāļēāļĢāđ€āļĨāđˆāļ™āļ‹āđ‰āļģāļ›āļĢāļ°āļŠāļšāļāļēāļĢāļ“āđŒ āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒ āđāļĨāļ°āļĢāļđāļ›āđāļšāļšāļ•āđˆāļēāļ‡āđ† āđ€āļŠāđˆāļ™ Double DQN āđāļĨāļ° Q-Learning āđāļšāļšāļāļĢāļ°āļˆāļēāļĒāļ—āļĩāđˆāļŠāđˆāļ§āļĒāļĨāļ”āļ­āļ„āļ•āļīāđƒāļ™āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ„āđˆāļēāļŠāļđāļ‡āđ€āļāļīāļ™āđ„āļ› āđāļĨāļ°āđāļŠāļ”āļ‡āļ–āļķāļ‡āļāļēāļĢāļāļĢāļ°āļˆāļēāļĒāļœāļĨāļ•āļ­āļšāđāļ—āļ™āļ—āļąāđ‰āļ‡āļŦāļĄāļ” āđāļ—āļ™āļ—āļĩāđˆāļˆāļ°āđ€āļ›āđ‡āļ™āļ„āđˆāļēāđ€āļ‰āļĨāļĩāđˆāļĒāđ€āļ”āļĩāđˆāļĒāļ§

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ”āđ‰āļēāļ™āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļ‡āļēāļ™āđ€āļ›āđ‡āļ™āđ€āļ§āļĨāļēāļŦāļĨāļēāļĒāļ›āļĩ
  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļāļēāļĢāļĻāļķāļāļĐāļēāļ”āđ‰āļēāļ™āđ€āļ—āļ„āļ™āļīāļ„āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ—āļĩāļĄāđ€āļĨāļ·āļ­āļāļāļĨāļļāđˆāļĄāļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄ āđ„āļĄāđˆāđƒāļŠāđˆāđāļ„āđˆāļāļĨāļļāđˆāļĄāđƒāļŦāļĄāđˆāļĨāđˆāļēāļŠāļļāļ”
  • āļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļ„āļļāļ“āļ āļēāļž. āļ•āļąāļ§āđ€āļĨāļ·āļ­āļāļ—āļēāļ‡āļ§āļīāļĻāļ§āļāļĢāļĢāļĄāļ—āļĩāđˆāļ”āļĩāļāļ§āđˆāļēāļˆāļ°āļŠāđˆāļ§āļĒāļĨāļ”āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ™āđˆāļēāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđƒāļ™āļāļēāļĢāļœāļĨāļīāļ•

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āļ‹āđˆāļ­āļ™āļˆāļļāļ”āļ­āđˆāļ­āļ™āļ‚āļ­āļ‡āļĢāļ°āļšāļšāđƒāļ™āļ§āļ‡āļāļ§āđ‰āļēāļ‡āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡āļžāļ·āđ‰āļ™āļāļēāļ™āđāļĨāļ°āļāļēāļĢāļšāļģāļĢāļļāļ‡āļĢāļąāļāļĐāļēāļĄāļąāļāļ–āļđāļāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ•āđˆāļģāđ„āļ›
  • āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ›āļĨāļ­āļ”āļ āļąāļĒāđāļĨāļ°āļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ™āļāļēāļĢāļŠāļąāļ‡āđ€āļāļ•āļŠāļēāļĄāļēāļĢāļ–āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļĢāļ°āļšāļšāļĄāļĩāļ„āļ§āļēāļĄāļ‹āļąāļšāļ‹āđ‰āļ­āļ™āļĄāļēāļāļ‚āļķāđ‰āļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāđ€āļ§āļĨāļēāđāļāļ‡ āļ„āļļāļ“āļ āļēāļž āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāđˆāļ­āļ™āļ™āļģāđ„āļ›āđƒāļŠāđ‰āļ‡āļēāļ™
  2. āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ āļēāļĒāđƒāļ•āđ‰āļŠāļ āļēāļ§āļ°āđ‚āļŦāļĨāļ”āđāļĨāļ°āļ‚āđ‰āļ­āļĄāļđāļĨāļˆāļĢāļīāļ‡
  3. āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļ·āđˆāļ­āļŦāļēāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” āļāļēāļĢāđ€āļšāļĩāđˆāļĒāļ‡āđ€āļšāļ™ āđāļĨāļ°āļœāļĨāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļœāļđāđ‰āđƒāļŠāđ‰
  4. āđ€āļ•āļĢāļĩāļĒāļĄāđ€āļŠāđ‰āļ™āļ—āļēāļ‡āļāļēāļĢāļĒāđ‰āļ­āļ™āļāļĨāļąāļšāđāļĨāļ°āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ•āđˆāļ­āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļāđˆāļ­āļ™āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Q-Learning quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is Q-Learning?

Q-Learning āđ€āļ›āđ‡āļ™āļ­āļąāļĨāļāļ­āļĢāļīāļ˜āļķāļĄāļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđāļšāļšāđ€āļŠāļĢāļīāļĄāļāļģāļĨāļąāļ‡āļ—āļĩāđˆāļŠāļ­āļ™āļ•āļąāļ§āđāļ—āļ™āļ§āđˆāļēāļāļēāļĢāļāļĢāļ°āļ—āļģāđƒāļ”āđƒāļŦāđ‰āļœāļĨāļ”āļĩāļ—āļĩāđˆāļŠāļļāļ”āđ‚āļ”āļĒāļāļēāļĢāļ„āđˆāļ­āļĒāđ† āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ„āļļāļ“āļ„āđˆāļēāļ‚āļ­āļ‡āļāļēāļĢāđ€āļ„āļĨāļ·āđˆāļ­āļ™āđ„āļŦāļ§āđāļ•āđˆāļĨāļ°āļ„āļĢāļąāđ‰āļ‡āļœāđˆāļēāļ™āļāļēāļĢāļĨāļ­āļ‡āļœāļīāļ”āļĨāļ­āļ‡āļ–āļđāļ āļŠāļīāđˆāļ‡āļŠāļģāļ„āļąāļāļ„āļ·āļ­āļŠāļēāļĄāļēāļĢāļ–āļ„āđ‰āļ™āļŦāļēāļžāļĪāļ•āļīāļāļĢāļĢāļĄāļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄāđ„āļ”āđ‰āđ‚āļ”āļĒāđ„āļĄāđˆāļ•āđ‰āļ­āļ‡āļšāļ­āļāļāļŽāđ€āļāļ“āļ‘āđŒāļ‚āļ­āļ‡āļŠāļ āļēāļžāđāļ§āļ”āļĨāđ‰āļ­āļĄāļĄāļēāļāđˆāļ­āļ™

Q-value Q(s, a) āđāļŠāļ”āļ‡āļ–āļķāļ‡āļ­āļ°āđ„āļĢ?

Q(s, a) āļ›āļĢāļ°āļĄāļēāļ“āļāļēāļĢāļĢāļēāļ‡āļ§āļąāļĨāđƒāļ™āļ­āļ™āļēāļ„āļ•āļ—āļĩāđˆāļĄāļĩāļŠāđˆāļ§āļ™āļĨāļ”āļ—āļąāđ‰āļ‡āļŦāļĄāļ”āļˆāļēāļāļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢ a āđƒāļ™āļŠāļ–āļēāļ™āļ° āđāļĨāļ°āļ›āļĢāļ°āļžāļĪāļ•āļīāļ•āļ™āļ­āļĒāđˆāļēāļ‡āđ€āļŦāļĄāļēāļ°āļŠāļĄāļŦāļĨāļąāļ‡āļˆāļēāļāļ™āļąāđ‰āļ™ āđ„āļĄāđˆāđƒāļŠāđˆāđāļ„āđˆāļĢāļēāļ‡āļ§āļąāļĨāđƒāļ™āļ—āļąāļ™āļ—āļĩ

āđ€āļŦāļ•āļļāđƒāļ” Q-Learning āļˆāļķāļ‡āļ–āļđāļāļ­āļ˜āļīāļšāļēāļĒāļ§āđˆāļē 'āļ™āļ­āļāļ™āđ‚āļĒāļšāļēāļĒ'

āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļŠāļđāļ‡āļŠāļļāļ”āđƒāļ™āļŠāđˆāļ§āļ‡āļ–āļąāļ”āđ„āļ›āļŦāļĄāļēāļĒāļ„āļ§āļēāļĄāļ§āđˆāļē Q-Learning āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ„āļļāļ“āļ„āđˆāļēāļ‚āļ­āļ‡āļ™āđ‚āļĒāļšāļēāļĒāļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄāļ—āļĩāđˆāļŠāļļāļ”āđ‚āļĨāļ  āđāļĄāđ‰āļ§āđˆāļēāļ•āļąāļ§āđāļ—āļ™āļˆāļ°āļŠāļģāļĢāļ§āļˆāļ”āđ‰āļ§āļĒāļ™āđ‚āļĒāļšāļēāļĒāļžāļĪāļ•āļīāļāļĢāļĢāļĄāļ—āļĩāđˆāđāļ•āļāļ•āđˆāļēāļ‡āļāļąāļ™āļāđ‡āļ•āļēāļĄ

āđƒāļ™āļāļŽāļāļēāļĢāļ­āļąāļ›āđ€āļ”āļ• āđāļāļĄāļĄāđˆāļēāļ•āļąāļ§āļ›āļĢāļ°āļāļ­āļšāļŠāđˆāļ§āļ™āļĨāļ”āļˆāļ°āļ„āļ§āļšāļ„āļļāļĄāļ­āļ°āđ„āļĢ

āđāļāļĄāļĄāļē (āļĢāļ°āļŦāļ§āđˆāļēāļ‡ 0 āļ–āļķāļ‡ 1) āļĨāļ”āļĢāļēāļ„āļēāļĢāļēāļ‡āļ§āļąāļĨāđƒāļ™āļ­āļ™āļēāļ„āļ• āļ„āđˆāļēāđƒāļāļĨāđ‰ 1 āļ—āļģāđƒāļŦāđ‰āđ€āļ­āđ€āļˆāļ™āļ•āđŒāļĄāļĩāļŠāļēāļĒāļ•āļēāļĒāļēāļ§ āļ„āđˆāļēāđƒāļāļĨāđ‰ 0 āļ—āļģāđƒāļŦāđ‰āļĄāļĩāļŠāļēāļĒāļ•āļēāļŠāļąāđ‰āļ™

āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” Temporal-difference (TD) āđƒāļ™ Q-Learning āļ„āļ·āļ­āļ­āļ°āđ„āļĢ

āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” TD āļ„āļ·āļ­āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļĢāļ°āļŦāļ§āđˆāļēāļ‡āļāļēāļĢāļ›āļĢāļ°āļĄāļēāļ“āļāļēāļĢāđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāđƒāļŦāļĄāđˆ (āļĢāļēāļ‡āļ§āļąāļĨāļšāļ§āļāļĄāļđāļĨāļ„āđˆāļēāļŠāđˆāļ§āļ™āļĨāļ”āđƒāļ™āļ­āļ™āļēāļ„āļ•āļ—āļĩāđˆāļ”āļĩāļ—āļĩāđˆāļŠāļļāļ”) āđāļĨāļ°āļāļēāļĢāļ›āļĢāļ°āļĄāļēāļ“āļāļēāļĢ Q āđāļšāļšāđ€āļāđˆāļē āļāļēāļĢāļ­āļąāļ›āđ€āļ”āļ•āļˆāļ°āļĨāļ”āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ™āļĩāđ‰āļĨāļ‡

āđ€āļŦāļ•āļļāđƒāļ” Q-Learning āđāļšāļšāļ•āļēāļĢāļēāļ‡āļ˜āļĢāļĢāļĄāļ”āļēāļˆāļķāļ‡āļ•āđ‰āļ­āļ‡āļ•āđˆāļ­āļŠāļđāđ‰āļāļąāļšāļ›āļąāļāļŦāļēāđƒāļŦāļāđˆāđ€āļŠāđˆāļ™āļ§āļīāļ”āļĩāđ‚āļ­āđ€āļāļĄāļˆāļēāļāļžāļīāļāđ€āļ‹āļĨ

āļ•āļēāļĢāļēāļ‡āļ„āđ‰āļ™āļŦāļēāļˆāļģāđ€āļ›āđ‡āļ™āļ•āđ‰āļ­āļ‡āļĄāļĩāļĢāļēāļĒāļāļēāļĢāļ•āđˆāļ­āļ„āļđāđˆāļŠāļ–āļēāļ™āļ°-āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢ āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āđ„āļ›āđ„āļĄāđˆāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļĢāļąāļāļĄāļĩāļˆāļģāļ™āļ§āļ™āļŦāļĨāļēāļĒāļžāļąāļ™āļĨāđ‰āļēāļ™āļĢāļēāļĒāļāļēāļĢ āļ‹āļķāđˆāļ‡āļāļĢāļ°āļ•āļļāđ‰āļ™āđƒāļŦāđ‰āđ€āļāļīāļ”āļ•āļąāļ§āļ›āļĢāļ°āļĄāļēāļ“āļ„āđˆāļēāđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļ›āļĢāļ°āļŠāļēāļ—āđ€āļ—āļĩāļĒāļĄ āđ€āļŠāđˆāļ™ DQN

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļāļēāļĢāļˆāļąāļ”āļ•āļēāļĢāļēāļ‡āļ­āļąāļ•āļĢāļēāļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰

āđ€āļ—āļ„āļ™āļīāļ„

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →