āļ„āļđāđˆāļĄāļ·āļ­āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„

āļ§āļīāļ˜āļĩāļāļēāļĢāļ™āļąāļāđāļŠāļ”āļ‡-āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒ

āļ§āļīāļ˜āļĩāļ™āļąāļāđāļŠāļ”āļ‡-āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒāļœāļŠāļĄāļœāļŠāļēāļ™āļœāļđāđ‰āđ€āļĢāļĩāļĒāļ™āļŠāļ­āļ‡āļ„āļ™āđ€āļ‚āđ‰āļēāļ”āđ‰āļ§āļĒāļāļąāļ™ āđ„āļ”āđ‰āđāļāđˆ 'āļ™āļąāļāđāļŠāļ”āļ‡' āļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļāļēāļĢāļāļĢāļ°āļ—āļģ āđāļĨāļ° 'āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒ' āļ—āļĩāđˆāļ•āļąāļ”āļŠāļīāļ™āļ§āđˆāļēāļāļēāļĢāļāļĢāļ°āļ—āļģāđ€āļŦāļĨāđˆāļēāļ™āļąāđ‰āļ™āļ”āļĩāđ€āļžāļĩāļĒāļ‡āđƒāļ”

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļ§āļīāļ˜āļĩāļāļēāļĢāļ™āļąāļāđāļŠāļ”āļ‡-āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒ
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

This pairing makes reinforcement learning more stable and sample-efficient than using either approach alone.

āđ€āļˆāļēāļ°āļĨāļķāļ

āļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđāļšāļšāđ€āļŠāļĢāļīāļĄāļāļģāļĨāļąāļ‡āļĄāļĩāļŠāļ­āļ‡āļĢāļđāļ›āđāļšāļšāļāļ§āđ‰āļēāļ‡āđ† āđ„āļ”āđ‰āđāļāđˆ āļ§āļīāļ˜āļĩāļāļēāļĢāļ•āļēāļĄāļ™āđ‚āļĒāļšāļēāļĒāļ—āļĩāđˆāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđ‚āļ”āļĒāļ•āļĢāļ‡āļ§āđˆāļēāļ•āđ‰āļ­āļ‡āļ—āļģāļ­āļ°āđ„āļĢ āđāļĨāļ°āļ§āļīāļ˜āļĩāļāļēāļĢāļ•āļēāļĄāļ„āļļāļ“āļ„āđˆāļēāļ—āļĩāđˆāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ§āđˆāļēāļŠāļ–āļēāļ™āļ°āļ”āļĩāđāļ„āđˆāđ„āļŦāļ™ āļ™āļąāļāđāļŠāļ”āļ‡-āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒāļŦāļĨāļ­āļĄāļĢāļ§āļĄāļāļąāļ™ āļ™āļąāļāđāļŠāļ”āļ‡āļ„āļ·āļ­āļ™āđ‚āļĒāļšāļēāļĒāļ—āļĩāđˆāđāļŠāļ”āļ‡āļ„āļ§āļēāļĄāļ™āđˆāļēāļˆāļ°āđ€āļ›āđ‡āļ™āđƒāļ™āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢ āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒāđ€āļ›āđ‡āļ™āļŸāļąāļ‡āļāđŒāļŠāļąāļ™āļ„āđˆāļēāļ—āļĩāđˆāļ›āļĢāļ°āļĄāļēāļ“āļœāļĨāļ•āļ­āļšāđāļ—āļ™āļ—āļĩāđˆāļ„āļēāļ”āļŦāļ§āļąāļ‡ āļŦāļĨāļąāļ‡āļˆāļēāļāđāļ•āđˆāļĨāļ°āļ‚āļąāđ‰āļ™āļ•āļ­āļ™ āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒāļˆāļ°āļ„āļģāļ™āļ§āļ“āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āļ‚āļ­āļ‡āļ„āļ§āļēāļĄāđāļ•āļāļ•āđˆāļēāļ‡āļŠāļąāđˆāļ§āļ„āļĢāļēāļ§āđ€āļžāļ·āđˆāļ­āļŠāđˆāļ‡āļŠāļąāļāļāļēāļ“āļ§āđˆāļēāļœāļĨāļĨāļąāļžāļ˜āđŒāļˆāļ°āļ”āļĩāļāļ§āđˆāļēāļŦāļĢāļ·āļ­āđāļĒāđˆāļāļ§āđˆāļēāļ—āļĩāđˆāļ„āļēāļ”āđ„āļ§āđ‰ āļ™āļąāļāđāļŠāļ”āļ‡āđƒāļŠāđ‰āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āļ™āļĩāđ‰āđ€āļžāļ·āđˆāļ­āļœāļĨāļąāļāļ”āļąāļ™āļ™āđ‚āļĒāļšāļēāļĒāđ„āļ›āļŠāļđāđˆāļāļēāļĢāļāļĢāļ°āļ—āļģāļ—āļĩāđˆāđ€āļŦāļ™āļ·āļ­āļ„āļ§āļēāļĄāļ„āļēāļ”āļŦāļĄāļēāļĒāđāļĨāļ°āļ­āļĒāļđāđˆāļŦāđˆāļēāļ‡āļˆāļēāļāļāļēāļĢāļāļĢāļ°āļ—āļģāļ—āļĩāđˆāļ”āđ‰āļ­āļĒāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļž āđ€āļ™āļ·āđˆāļ­āļ‡āļˆāļēāļāļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒāđƒāļŦāđ‰āļžāļ·āđ‰āļ™āļāļēāļ™āļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āļ•āđˆāļģ āļāļēāļĢāļ›āļĢāļ°āļĄāļēāļ“āļ„āđˆāļēāļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩāļ‚āļ­āļ‡āļ™āļąāļāđāļŠāļ”āļ‡āļˆāļķāļ‡āļĄāļĩāđ€āļŠāļĩāļĒāļ‡āļĢāļšāļāļ§āļ™āļ™āđ‰āļ­āļĒāļāļ§āđˆāļēāļ§āļīāļ˜āļĩāļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļ™āđ‚āļĒāļšāļēāļĒāđ€āļžāļĩāļĒāļ‡āļ­āļĒāđˆāļēāļ‡āđ€āļ”āļĩāļĒāļ§ āđ€āļŠāđˆāļ™ REINFORCE āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆāļĒāļąāļ‡āļ„āļ‡āļˆāļąāļ”āļāļēāļĢāļāļąāļšāļžāļ·āđ‰āļ™āļ—āļĩāđˆāļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļ­āļĒāđˆāļēāļ‡āļ•āđˆāļ­āđ€āļ™āļ·āđˆāļ­āļ‡āļ‹āļķāđˆāļ‡āļ§āļīāļ˜āļĩāļāļēāļĢāđ€āļ™āđ‰āļ™āđ€āļ‰āļžāļēāļ°āļ„āļļāļ“āļ„āđˆāļē āđ€āļŠāđˆāļ™ Q-Learning āļžāļšāļ§āđˆāļēāļ™āđˆāļēāļ­āļķāļ”āļ­āļąāļ”āđƒāļˆ

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

āļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāđāļ‚āļ™āļŦāļļāđˆāļ™āļĒāļ™āļ•āđŒāđāļĨāļ°āļ­āļļāļ›āļāļĢāļ“āđŒāļ„āļ§āļšāļ„āļļāļĄāļāļēāļĢāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ—āļĩāđˆāļ”āđ‰āļ§āļĒāđāļĢāļ‡āļšāļīāļ”āļ‚āđ‰āļ­āļ•āđˆāļ­āļ­āļĒāđˆāļēāļ‡āļ•āđˆāļ­āđ€āļ™āļ·āđˆāļ­āļ‡ (āđ€āļŠāđˆāļ™ āļāļēāļĢāđƒāļŠāđ‰ PPO āļŦāļĢāļ·āļ­ SAC)

āļāļēāļĢāļˆāļąāļ”āđāļ™āļ§āđ‚āļĄāđ€āļ”āļĨāļ āļēāļĐāļēāļ‚āļ™āļēāļ”āđƒāļŦāļāđˆāļœāđˆāļēāļ™ RLHF āđ‚āļ”āļĒāļ—āļĩāđˆ PPO (āļ§āļīāļ˜āļĩāļāļēāļĢāļ§āļīāļˆāļēāļĢāļ“āđŒāļ™āļąāļāđāļŠāļ”āļ‡) āļ›āļĢāļąāļšāļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ•āđˆāļ­āđ‚āļĄāđ€āļ”āļĨāļāļēāļĢāđƒāļŦāđ‰āļĢāļēāļ‡āļ§āļąāļĨāđƒāļŦāđ‰āđ€āļŦāļĄāļēāļ°āļŠāļĄāļ—āļĩāđˆāļŠāļļāļ”

āđ€āļŠāļĩāđˆāļĒāļ§āļŠāļēāļāđ€āļāļĄāļāļĨāļĒāļļāļ—āļ˜āđŒāļ—āļĩāđˆāļ‹āļąāļšāļ‹āđ‰āļ­āļ™ āđ€āļŠāđˆāļ™ StarCraft II āđāļĨāļ° Dota 2

āļ•āļąāļ§āļ„āļ§āļšāļ„āļļāļĄāļāļēāļĢāļ—āļģāļ„āļ§āļēāļĄāđ€āļĒāđ‡āļ™āđāļĨāļ°āļāļēāļĢāļˆāļąāļ”āļāļēāļĢāļžāļĨāļąāļ‡āļ‡āļēāļ™āļ‚āļ­āļ‡āļĻāļđāļ™āļĒāđŒāļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļĩāđˆāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļāļēāļĢāļ›āļĢāļąāļšāđ€āļ›āļĨāļĩāđˆāļĒāļ™āļ­āļĒāđˆāļēāļ‡āļ•āđˆāļ­āđ€āļ™āļ·āđˆāļ­āļ‡āļ­āļĒāđˆāļēāļ‡āļĢāļēāļšāļĢāļ·āđˆāļ™

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļ§āļīāļ˜āļĩāļāļēāļĢāļ™āļąāļāđāļŠāļ”āļ‡-āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒ

āļ™āļąāļāđāļŠāļ”āļ‡-āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒāđ€āļ›āđ‡āļ™āļŦāļąāļ§āđƒāļˆāļŠāļģāļ„āļąāļāļ‚āļ­āļ‡ RL āļ—āļĩāđˆāļĨāđ‰āļģāļĨāļķāļāļ—āļĩāđˆāļ—āļąāļ™āļŠāļĄāļąāļĒāļ—āļĩāđˆāļŠāļļāļ” āļ­āļąāļĨāļāļ­āļĢāļīāļ˜āļķāļĄāđ€āļŠāđˆāļ™ A3C, A2C, PPO, SAC āđāļĨāļ° DDPG āļĨāđ‰āļ§āļ™āļŠāļĢāđ‰āļēāļ‡āļ‚āļķāđ‰āļ™āļˆāļēāļāļĄāļąāļ™ āđ‚āļ”āļĒāđ€āļžāļīāđˆāļĄāļĨāļđāļāđ€āļĨāđˆāļ™ āđ€āļŠāđˆāļ™ clipped allowance āļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļ­āļąāļ›āđ€āļ”āļ•āļ—āļĩāđˆāđ€āļŠāļ–āļĩāļĒāļĢ āđ‚āļšāļ™āļąāļŠāđ€āļ­āļ™āđ‚āļ—āļĢāļ›āļĩāļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļŠāļģāļĢāļ§āļˆ āđāļĨāļ°āļ•āļąāļ§āđāļŠāļ”āļ‡āđāļšāļšāļ„āļđāđˆāļ‚āļ™āļēāļ™āļŠāļģāļŦāļĢāļąāļšāļ›āļĢāļīāļĄāļēāļ“āļ‡āļēāļ™ āļ„āļēāļ”āļŦāļ§āļąāļ‡āļāļēāļĢāđ€āļ•āļīāļšāđ‚āļ•āļ­āļĒāđˆāļēāļ‡āļ•āđˆāļ­āđ€āļ™āļ·āđˆāļ­āļ‡āđƒāļ™āļ”āđ‰āļēāļ™āļ§āļīāļ—āļĒāļēāļāļēāļĢāļŦāļļāđˆāļ™āļĒāļ™āļ•āđŒ āļ•āļąāļ§āđāļ—āļ™āđ€āļāļĄāļ‚āļ™āļēāļ”āđƒāļŦāļāđˆ āđāļĨāļ° RL āļˆāļēāļāļ„āļ§āļēāļĄāļ„āļīāļ”āđ€āļŦāđ‡āļ™āļ‚āļ­āļ‡āļĄāļ™āļļāļĐāļĒāđŒāđƒāļ™āļāļēāļĢāļ›āļĢāļąāļšāđāļ•āđˆāļ‡āđ‚āļĄāđ€āļ”āļĨāļ āļēāļĐāļē āļ‹āļķāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļŠāļ–āļĩāļĒāļĢāđāļĨāļ°āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļ‚āļ­āļ‡āļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āđ€āļ›āđ‡āļ™āļŠāļīāđˆāļ‡āļŠāļģāļ„āļąāļāļĒāļīāđˆāļ‡

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ”āđ‰āļēāļ™āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļ‡āļēāļ™āđ€āļ›āđ‡āļ™āđ€āļ§āļĨāļēāļŦāļĨāļēāļĒāļ›āļĩ
  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļāļēāļĢāļĻāļķāļāļĐāļēāļ”āđ‰āļēāļ™āđ€āļ—āļ„āļ™āļīāļ„āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ—āļĩāļĄāđ€āļĨāļ·āļ­āļāļāļĨāļļāđˆāļĄāļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄ āđ„āļĄāđˆāđƒāļŠāđˆāđāļ„āđˆāļāļĨāļļāđˆāļĄāđƒāļŦāļĄāđˆāļĨāđˆāļēāļŠāļļāļ”
  • āļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļ„āļļāļ“āļ āļēāļž. āļ•āļąāļ§āđ€āļĨāļ·āļ­āļāļ—āļēāļ‡āļ§āļīāļĻāļ§āļāļĢāļĢāļĄāļ—āļĩāđˆāļ”āļĩāļāļ§āđˆāļēāļˆāļ°āļŠāđˆāļ§āļĒāļĨāļ”āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ™āđˆāļēāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđƒāļ™āļāļēāļĢāļœāļĨāļīāļ•

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āļ‹āđˆāļ­āļ™āļˆāļļāļ”āļ­āđˆāļ­āļ™āļ‚āļ­āļ‡āļĢāļ°āļšāļšāđƒāļ™āļ§āļ‡āļāļ§āđ‰āļēāļ‡āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡āļžāļ·āđ‰āļ™āļāļēāļ™āđāļĨāļ°āļāļēāļĢāļšāļģāļĢāļļāļ‡āļĢāļąāļāļĐāļēāļĄāļąāļāļ–āļđāļāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ•āđˆāļģāđ„āļ›
  • āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ›āļĨāļ­āļ”āļ āļąāļĒāđāļĨāļ°āļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ™āļāļēāļĢāļŠāļąāļ‡āđ€āļāļ•āļŠāļēāļĄāļēāļĢāļ–āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļĢāļ°āļšāļšāļĄāļĩāļ„āļ§āļēāļĄāļ‹āļąāļšāļ‹āđ‰āļ­āļ™āļĄāļēāļāļ‚āļķāđ‰āļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāđ€āļ§āļĨāļēāđāļāļ‡ āļ„āļļāļ“āļ āļēāļž āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāđˆāļ­āļ™āļ™āļģāđ„āļ›āđƒāļŠāđ‰āļ‡āļēāļ™
  2. āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ āļēāļĒāđƒāļ•āđ‰āļŠāļ āļēāļ§āļ°āđ‚āļŦāļĨāļ”āđāļĨāļ°āļ‚āđ‰āļ­āļĄāļđāļĨāļˆāļĢāļīāļ‡
  3. āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļ·āđˆāļ­āļŦāļēāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” āļāļēāļĢāđ€āļšāļĩāđˆāļĒāļ‡āđ€āļšāļ™ āđāļĨāļ°āļœāļĨāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļœāļđāđ‰āđƒāļŠāđ‰
  4. āđ€āļ•āļĢāļĩāļĒāļĄāđ€āļŠāđ‰āļ™āļ—āļēāļ‡āļāļēāļĢāļĒāđ‰āļ­āļ™āļāļĨāļąāļšāđāļĨāļ°āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ•āđˆāļ­āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļāđˆāļ­āļ™āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Actor-Critic Methods quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is Actor-Critic Methods?

āļ§āļīāļ˜āļĩāļ™āļąāļāđāļŠāļ”āļ‡-āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒāļœāļŠāļĄāļœāļŠāļēāļ™āļœāļđāđ‰āđ€āļĢāļĩāļĒāļ™āļŠāļ­āļ‡āļ„āļ™āđ€āļ‚āđ‰āļēāļ”āđ‰āļ§āļĒāļāļąāļ™ āđ„āļ”āđ‰āđāļāđˆ 'āļ™āļąāļāđāļŠāļ”āļ‡' āļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļāļēāļĢāļāļĢāļ°āļ—āļģ āđāļĨāļ° 'āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒ' āļ—āļĩāđˆāļ•āļąāļ”āļŠāļīāļ™āļ§āđˆāļēāļāļēāļĢāļāļĢāļ°āļ—āļģāđ€āļŦāļĨāđˆāļēāļ™āļąāđ‰āļ™āļ”āļĩāđ€āļžāļĩāļĒāļ‡āđƒāļ” āļāļēāļĢāļˆāļąāļšāļ„āļđāđˆāļ™āļĩāđ‰āļ—āļģāđƒāļŦāđ‰āļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđāļšāļšāđ€āļŠāļĢāļīāļĄāļāļģāļĨāļąāļ‡āļĄāļĩāđ€āļŠāļ–āļĩāļĒāļĢāļ āļēāļžāđāļĨāļ°āļĄāļĩāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđƒāļ™āļāļĨāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļĄāļēāļāļāļ§āđˆāļēāļāļēāļĢāđƒāļŠāđ‰āļ§āļīāļ˜āļĩāđƒāļ”āļ§āļīāļ˜āļĩāļŦāļ™āļķāđˆāļ‡āđ€āļžāļĩāļĒāļ‡āļ­āļĒāđˆāļēāļ‡āđ€āļ”āļĩāļĒāļ§

āđƒāļ™āļ§āļīāļ˜āļĩāļāļēāļĢāļ‚āļ­āļ‡āļ™āļąāļāđāļŠāļ”āļ‡-āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒ āļšāļ—āļšāļēāļ—āļ‚āļ­āļ‡ 'āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒ' āļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļŸāļąāļ‡āļāđŒāļŠāļąāļ™āļ„āļļāļ“āļ„āđˆāļēāđāļĨāļ°āļŠāļĢāđ‰āļēāļ‡āļŠāļąāļāļāļēāļ“āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™ (āđ€āļŠāđˆāļ™ āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” TD) āļ—āļĩāđˆāļšāļ­āļāļ™āļąāļāđāļŠāļ”āļ‡āļ§āđˆāļēāļāļēāļĢāļāļĢāļ°āļ—āļģāļ‚āļ­āļ‡āļĄāļąāļ™āļ”āļĩāļ‚āļķāđ‰āļ™āļŦāļĢāļ·āļ­āđāļĒāđˆāļĨāļ‡āļāļ§āđˆāļēāļ—āļĩāđˆāļ„āļēāļ”āđ„āļ§āđ‰

'āļ‚āđ‰āļ­āđ„āļ”āđ‰āđ€āļ›āļĢāļĩāļĒāļš' A(s,a) = Q(s,a) - V(s) āļ§āļąāļ”āļ­āļ°āđ„āļĢ?

āļ‚āđ‰āļ­āđ„āļ”āđ‰āđ€āļ›āļĢāļĩāļĒāļšāļˆāļ°āđāļĒāļāļ§āđˆāļēāļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāđ€āļ‰āļžāļēāļ°āđ€āļˆāļēāļ°āļˆāļ‡āļĄāļĩāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļ”āļĩāļāļ§āđˆāļēāļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļąāđˆāļ§āđ„āļ›āļˆāļēāļāļŠāļ–āļēāļ™āļ°āļ™āļąāđ‰āļ™āļĄāļēāļāļ™āđ‰āļ­āļĒāđ€āļžāļĩāļĒāļ‡āđƒāļ” āđ‚āļ”āļĒāđƒāļŦāđ‰āļŠāļąāļāļāļēāļ“āļ—āļĩāđˆāļŠāļ°āļ­āļēāļ”āļāļ§āđˆāļēāļœāļĨāļ•āļ­āļšāđāļ—āļ™āļ”āļīāļš

āđ€āļŦāļ•āļļāđƒāļ”āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒāļˆāļķāļ‡āļĨāļ”āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āđ€āļĄāļ·āđˆāļ­āđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāļāļąāļšāļ§āļīāļ˜āļĩāļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļ™āđ‚āļĒāļšāļēāļĒāļĨāđ‰āļ§āļ™āđ† āđ€āļŠāđˆāļ™ REINFORCE

āļāļēāļĢāļĨāļšāļ„āđˆāļēāļ›āļĢāļ°āļĄāļēāļ“āļ‚āļ­āļ‡āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒāđ€āļ›āđ‡āļ™āļ„āđˆāļēāļžāļ·āđ‰āļ™āļāļēāļ™āļˆāļ°āļŠāđˆāļ§āļĒāļĨāļ”āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āļ‚āļ­āļ‡āļāļēāļĢāļ›āļĢāļ°āļĄāļēāļ“āļ„āđˆāļēāļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩāđ‚āļ”āļĒāđ„āļĄāđˆāđ€āļžāļīāđˆāļĄāļ­āļ„āļ•āļī āļ—āļģāđƒāļŦāđ‰āļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđ€āļĢāđ‡āļ§āļ‚āļķāđ‰āļ™

āļ§āļīāļ˜āļĩ Actor-Critic āļĄāļĩāļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ”āļ—āļĩāđˆāļ§āļīāļ˜āļĩāļāļēāļĢāļ•āļēāļĄāļ„āđˆāļēāļ˜āļĢāļĢāļĄāļ”āļēāđ€āļŠāđˆāļ™ Q-Learning āļˆāļąāļ”āļāļēāļĢāđ„āļ”āđ‰āļ­āļĒāđˆāļēāļ‡āđ€āļŠāļ·āđˆāļ­āļ‡āļŠāđ‰āļē

āđ€āļ™āļ·āđˆāļ­āļ‡āļˆāļēāļāļ™āļąāļāđāļŠāļ”āļ‡āļāļģāļŦāļ™āļ”āļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāļ™āđ‚āļĒāļšāļēāļĒāđ‚āļ”āļĒāļ•āļĢāļ‡ āļˆāļķāļ‡āļŠāļēāļĄāļēāļĢāļ–āļŠāđˆāļ‡āļ­āļ­āļāļāļēāļĢāļāļĢāļ°āļ—āļģāļ—āļĩāđˆāļ•āđˆāļ­āđ€āļ™āļ·āđˆāļ­āļ‡āđ„āļ”āđ‰ (āđ€āļŠāđˆāļ™ āđāļĢāļ‡āļšāļīāļ”āļ‚āļ­āļ‡āļ‚āđ‰āļ­āļ•āđˆāļ­) āđ‚āļ”āļĒāđ„āļĄāđˆāļˆāļģāđ€āļ›āđ‡āļ™āļ•āđ‰āļ­āļ‡āđƒāļŠāđ‰āļāļēāļĢāļāļĢāļ°āļ—āļģāļŠāļđāļ‡āļŠāļļāļ”āđƒāļ™āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļĄāļēāļāļĄāļēāļĒāļ­āļĒāđˆāļēāļ‡āđ„āļĄāđˆāļŠāļīāđ‰āļ™āļŠāļļāļ”

āđ‚āļ”āļĒāļ—āļąāđˆāļ§āđ„āļ›āđāļĨāđ‰āļ§āļ™āļąāļāđāļŠāļ”āļ‡āļˆāļ°āđƒāļŠāđ‰āļŠāļąāļāļāļēāļ“āđƒāļ”āđƒāļ™āļāļēāļĢāļ­āļąāļ›āđ€āļ”āļ•āļ™āđ‚āļĒāļšāļēāļĒāļ‚āļ­āļ‡āļ•āļ™

āļ™āļąāļāđāļŠāļ”āļ‡āļ›āļĢāļąāļšāļ™āđ‚āļĒāļšāļēāļĒāđƒāļ™āļ—āļīāļĻāļ—āļēāļ‡āļ—āļĩāđˆāđāļ™āļ°āļ™āļģāđ‚āļ”āļĒāļ‚āđ‰āļ­āļ”āļĩāļ‚āļ­āļ‡āļ™āļąāļāļ§āļīāļˆāļēāļĢāļ“āđŒ/āļŠāļąāļāļāļēāļ“āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” TD āļ‹āļķāđˆāļ‡āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļ—āļĩāđˆāļ”āļĩāļāļ§āđˆāļēāļ—āļĩāđˆāļ„āļēāļ”āđ„āļ§āđ‰

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļ§āļīāļ˜āļĩāļāļēāļĢāļ•āļĢāļ§āļˆāļˆāļąāļšāļ āļēāļžāļŦāļĨāļ­āļ™

āđ€āļ—āļ„āļ™āļīāļ„

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →