āļ„āļđāđˆāļĄāļ·āļ­āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„

āļ­āļ”āļąāļĄāđāļĨāļ°āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļšāļšāļ­āļ°āđāļ”āļ›āļ—āļĩāļŸ

Adam āđ€āļ›āđ‡āļ™āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļ—āļĩāđˆāļ­āļĒāļđāđˆāđ€āļšāļ·āđ‰āļ­āļ‡āļŦāļĨāļąāļ‡āđ‚āļ„āļĢāļ‡āļ‚āđˆāļēāļĒāļ›āļĢāļ°āļŠāļēāļ—āđ€āļ—āļĩāļĒāļĄāļ—āļĩāđˆāļ—āļąāļ™āļŠāļĄāļąāļĒāļ—āļĩāđˆāļŠāļļāļ” āđ‚āļ”āļĒāļˆāļ°āļ›āļĢāļąāļšāļ­āļąāļ•āļĢāļēāļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđāļĒāļāļāļąāļ™āļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāđ‚āļ”āļĒāļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļī

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļ­āļ”āļąāļĄāđāļĨāļ°āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļšāļšāļ›āļĢāļąāļšāđ€āļ›āļĨāļĩāđˆāļĒāļ™āđ„āļ”āđ‰
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

It matters because it makes training deep models faster and far less finicky than plain gradient descent.

āđ€āļˆāļēāļ°āļĨāļķāļ

Adam (Adaptive Moment Estimation) āđ€āļ›āļīāļ”āļ•āļąāļ§āđ‚āļ”āļĒ Kingma āđāļĨāļ° Ba āđƒāļ™āļ›āļĩ 2014 āļĢāļ§āļĄāļŠāļ­āļ‡āđāļ™āļ§āļ„āļīāļ”āđ€āļ‚āđ‰āļēāļ”āđ‰āļ§āļĒāļāļąāļ™ āļ›āļĢāļ°āļāļēāļĢāđāļĢāļ āđ‚āļĄāđ€āļĄāļ™āļ•āļąāļĄ: āļĄāļąāļ™āļˆāļ°āļĢāļąāļāļĐāļēāļ„āđˆāļēāđ€āļ‰āļĨāļĩāđˆāļĒāļ‚āļ­āļ‡āļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩāļ—āļĩāđˆāļœāđˆāļēāļ™āļĄāļēāđāļšāļšāļ—āļ§āļĩāļ„āļđāļ“ (āļŠāđˆāļ§āļ‡āđāļĢāļ) āļ”āļąāļ‡āļ™āļąāđ‰āļ™āđƒāļŦāđ‰āļ­āļąāļ›āđ€āļ”āļ•āļ„āļ§āļēāļĄāđ€āļĢāđ‡āļ§āđƒāļ™āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āđƒāļ™āļ—āļīāļĻāļ—āļēāļ‡āļ—āļĩāđˆāļŠāļ­āļ”āļ„āļĨāđ‰āļ­āļ‡āļāļąāļ™ āļ›āļĢāļ°āļāļēāļĢāļ—āļĩāđˆāļŠāļ­āļ‡ āļĄāļēāļ•āļĢāļēāļŠāđˆāļ§āļ™āļ•āđˆāļ­āļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒ: āļ•āļīāļ”āļ•āļēāļĄāļ„āđˆāļēāđ€āļ‰āļĨāļĩāđˆāļĒāļ‚āļ­āļ‡āļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩāļāļģāļĨāļąāļ‡āļŠāļ­āļ‡ (āļŠāđˆāļ§āļ‡āđ€āļ§āļĨāļēāļ—āļĩāđˆāļŠāļ­āļ‡) āđāļĨāļ°āļŦāļēāļĢāđāļ•āđˆāļĨāļ°āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ”āđ‰āļ§āļĒāļĢāļēāļāļ—āļĩāđˆāļŠāļ­āļ‡āļ‚āļ­āļ‡āļ„āđˆāļēāļ™āļąāđ‰āļ™ āļ”āļąāļ‡āļ™āļąāđ‰āļ™āļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāļ—āļĩāđˆāļĄāļĩāļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩāļ‚āļ™āļēāļ”āđƒāļŦāļāđˆāđāļĨāļ°āļĄāļĩāđ€āļŠāļĩāļĒāļ‡āļĢāļšāļāļ§āļ™āļˆāļ°āđƒāļŠāđ‰āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ—āļĩāđˆāđ€āļĨāđ‡āļāļĨāļ‡ āđāļĨāļ°āļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāļ—āļĩāđˆāđ„āļĄāđˆāļ„āđˆāļ­āļĒāđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāļ­āļąāļ›āđ€āļ”āļ•āļˆāļ°āđƒāļŠāđ‰āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ—āļĩāđˆāđƒāļŦāļāđˆāļāļ§āđˆāļē āļāļēāļĢāļ›āļĢāļąāļšāļ•āļąāļ§āļ™āļĩāđ‰āļŦāļĄāļēāļĒāļ„āļ§āļēāļĄāļ§āđˆāļēāļ„āļļāļ“āļŠāļēāļĄāļēāļĢāļ–āđƒāļŠāđ‰āļ­āļąāļ•āļĢāļēāļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđ€āļ”āļĩāļĒāļ§āļ—āļąāđˆāļ§āļ—āļąāđ‰āļ‡āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāđ„āļ”āđ‰ āļ•āļąāļ§āđāļ›āļĢ AdamW āđāļĒāļāļāļēāļĢāļĨāļ”āļ™āđ‰āļģāļŦāļ™āļąāļāļ­āļ­āļāļˆāļēāļāļāļēāļĢāļ­āļąāļ›āđ€āļ”āļ•āļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩ āđāļĨāļ°āļāļĨāļēāļĒāđ€āļ›āđ‡āļ™āļ„āđˆāļēāđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļāļķāļāļŦāļĄāđ‰āļ­āđāļ›āļĨāļ‡āļ‚āļ™āļēāļ”āđƒāļŦāļāđˆāđāļĨāļ°āđ‚āļĄāđ€āļ”āļĨāļ āļēāļĐāļē

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

āļāļķāļāļ­āļšāļĢāļĄāđ‚āļĄāđ€āļ”āļĨāļ āļēāļĐāļēāļ‚āļ™āļēāļ”āđƒāļŦāļāđˆ āđ€āļŠāđˆāļ™ GPT āđāļĨāļ° Llama āļ‹āļķāđˆāļ‡āđƒāļŠāđ‰ AdamW āđ€āļ›āđ‡āļ™āļ•āļąāļ§āđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļĄāļēāļ•āļĢāļāļēāļ™

āļāļēāļĢāļ›āļĢāļąāļšāđāļ•āđˆāļ‡āļ•āļąāļ§āđāļĒāļāļ›āļĢāļ°āđ€āļ āļ—āļĢāļđāļ›āļ āļēāļžāļ—āļĩāđˆāđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāļāļķāļāđ„āļ§āđ‰āļĨāđˆāļ§āļ‡āļŦāļ™āđ‰āļēāļ­āļĒāđˆāļēāļ‡āļĨāļ°āđ€āļ­āļĩāļĒāļ” (āđ€āļŠāđˆāļ™ ResNet) āļšāļ™āļŠāļļāļ”āļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļĩāđˆāļāļģāļŦāļ™āļ”āđ€āļ­āļ‡āļ”āđ‰āļ§āļĒāļ­āļąāļ•āļĢāļēāļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļ‚āļ­āļ‡ Adam

āļāļķāļāļ­āļšāļĢāļĄāđ‚āļĄāđ€āļ”āļĨāļāļēāļĢāđāļžāļĢāđˆāļāļĢāļ°āļˆāļēāļĒāđ€āļšāļ·āđ‰āļ­āļ‡āļŦāļĨāļąāļ‡āļ•āļąāļ§āļŠāļĢāđ‰āļēāļ‡āļ āļēāļž āđ€āļŠāđˆāļ™ Stable Diffusion

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™ Adam 8 āļšāļīāļ•āđƒāļ™āđ„āļĨāļšāļĢāļēāļĢāļĩāđ€āļŠāđˆāļ™āļšāļīāļ•āđāļ‹āļ™āļ”āđŒāđ„āļšāļ•āđŒāđ€āļžāļ·āđˆāļ­āđƒāļŦāđ‰āļžāļ­āļ”āļĩāļāļąāļšāļŠāļ–āļēāļ™āļ°āļ‚āļ­āļ‡āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđƒāļ™āļŦāļ™āđˆāļ§āļĒāļ„āļ§āļēāļĄāļˆāļģ GPU āļ—āļĩāđˆāļˆāļģāļāļąāļ”

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļ­āļ”āļąāļĄāđāļĨāļ°āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļšāļšāļ›āļĢāļąāļšāđ€āļ›āļĨāļĩāđˆāļĒāļ™āđ„āļ”āđ‰

Adam āđāļĨāļ° AdamW āļĒāļąāļ‡āļ„āļ‡āļĄāļĩāļšāļ—āļšāļēāļ—āļŠāļģāļ„āļąāļ āđāļ•āđˆāļāļēāļĢāļ§āļīāļˆāļąāļĒāļāļģāļĨāļąāļ‡āļœāļĨāļąāļāļ”āļąāļ™āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļŠāļģāļŦāļĢāļąāļšāđāļšāļšāļˆāļģāļĨāļ­āļ‡āļĨāđ‰āļēāļ™āļĨāđ‰āļēāļ™āļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒ āļ‹āļķāđˆāļ‡āļāļēāļĢāļˆāļąāļ”āđ€āļāđ‡āļšāļ„āđˆāļēāļžāļīāđ€āļĻāļĐāļŠāļ­āļ‡āļ„āđˆāļēāļ•āđˆāļ­āļ™āđ‰āļģāļŦāļ™āļąāļāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒāļŠāļđāļ‡ āļ•āļąāļ§āđāļ›āļĢāđāļŠāļ‡āļŦāļ™āđˆāļ§āļĒāļ„āļ§āļēāļĄāļˆāļģ āđ€āļŠāđˆāļ™ Adafactor, Adam 8 āļšāļīāļ• āđāļĨāļ°āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļĢāļļāđˆāļ™āđƒāļŦāļĄāđˆ āđ€āļŠāđˆāļ™ Lion (āļ‹āļķāđˆāļ‡āđƒāļŠāđ‰āđ€āļ‰āļžāļēāļ°āđ‚āļĄāđ€āļĄāļ™āļ•āļąāļĄāļ•āļēāļĄāļŠāļąāļāļāļēāļ“āđ€āļ—āđˆāļēāļ™āļąāđ‰āļ™) āđāļĨāļ° Sophia āļĄāļļāđˆāļ‡āļŦāļ§āļąāļ‡āļ—āļĩāđˆāļˆāļ°āļˆāļąāļšāļ„āļđāđˆāļ„āļļāļ“āļ āļēāļžāļ‚āļ­āļ‡ Adam āļ”āđ‰āļ§āļĒāļŦāļ™āđˆāļ§āļĒāļ„āļ§āļēāļĄāļˆāļģāļ™āđ‰āļ­āļĒāļĨāļ‡āļŦāļĢāļ·āļ­āļāļēāļĢāļšāļĢāļĢāļˆāļšāļāļąāļ™āļ—āļĩāđˆāđ€āļĢāđ‡āļ§āļ‚āļķāđ‰āļ™ āļ„āļēāļ”āļ§āđˆāļēāļˆāļ°āļĄāļĩāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļšāļšāļ›āļĢāļąāļšāđ€āļ›āļĨāļĩāđˆāļĒāļ™āļ—āļĩāđˆāđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāļ›āļĢāļąāļšāđāļ•āđˆāļ‡āļĄāļēāđ‚āļ”āļĒāđ€āļ‰āļžāļēāļ°āļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāđāļšāļšāļāļĢāļ°āļˆāļēāļĒāļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāļ•āđˆāļģāđ€āļžāļ·āđˆāļ­āļžāļąāļ’āļ™āļēāļ•āđˆāļ­āđ„āļ›

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ”āđ‰āļēāļ™āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļ‡āļēāļ™āđ€āļ›āđ‡āļ™āđ€āļ§āļĨāļēāļŦāļĨāļēāļĒāļ›āļĩ
  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļāļēāļĢāļĻāļķāļāļĐāļēāļ”āđ‰āļēāļ™āđ€āļ—āļ„āļ™āļīāļ„āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ—āļĩāļĄāđ€āļĨāļ·āļ­āļāļāļĨāļļāđˆāļĄāļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄ āđ„āļĄāđˆāđƒāļŠāđˆāđāļ„āđˆāļāļĨāļļāđˆāļĄāđƒāļŦāļĄāđˆāļĨāđˆāļēāļŠāļļāļ”
  • āļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļ„āļļāļ“āļ āļēāļž. āļ•āļąāļ§āđ€āļĨāļ·āļ­āļāļ—āļēāļ‡āļ§āļīāļĻāļ§āļāļĢāļĢāļĄāļ—āļĩāđˆāļ”āļĩāļāļ§āđˆāļēāļˆāļ°āļŠāđˆāļ§āļĒāļĨāļ”āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ™āđˆāļēāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđƒāļ™āļāļēāļĢāļœāļĨāļīāļ•

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āļ‹āđˆāļ­āļ™āļˆāļļāļ”āļ­āđˆāļ­āļ™āļ‚āļ­āļ‡āļĢāļ°āļšāļšāđƒāļ™āļ§āļ‡āļāļ§āđ‰āļēāļ‡āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡āļžāļ·āđ‰āļ™āļāļēāļ™āđāļĨāļ°āļāļēāļĢāļšāļģāļĢāļļāļ‡āļĢāļąāļāļĐāļēāļĄāļąāļāļ–āļđāļāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ•āđˆāļģāđ„āļ›
  • āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ›āļĨāļ­āļ”āļ āļąāļĒāđāļĨāļ°āļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ™āļāļēāļĢāļŠāļąāļ‡āđ€āļāļ•āļŠāļēāļĄāļēāļĢāļ–āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļĢāļ°āļšāļšāļĄāļĩāļ„āļ§āļēāļĄāļ‹āļąāļšāļ‹āđ‰āļ­āļ™āļĄāļēāļāļ‚āļķāđ‰āļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāđ€āļ§āļĨāļēāđāļāļ‡ āļ„āļļāļ“āļ āļēāļž āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāđˆāļ­āļ™āļ™āļģāđ„āļ›āđƒāļŠāđ‰āļ‡āļēāļ™
  2. āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ āļēāļĒāđƒāļ•āđ‰āļŠāļ āļēāļ§āļ°āđ‚āļŦāļĨāļ”āđāļĨāļ°āļ‚āđ‰āļ­āļĄāļđāļĨāļˆāļĢāļīāļ‡
  3. āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļ·āđˆāļ­āļŦāļēāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” āļāļēāļĢāđ€āļšāļĩāđˆāļĒāļ‡āđ€āļšāļ™ āđāļĨāļ°āļœāļĨāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļœāļđāđ‰āđƒāļŠāđ‰
  4. āđ€āļ•āļĢāļĩāļĒāļĄāđ€āļŠāđ‰āļ™āļ—āļēāļ‡āļāļēāļĢāļĒāđ‰āļ­āļ™āļāļĨāļąāļšāđāļĨāļ°āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ•āđˆāļ­āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļāđˆāļ­āļ™āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Adam and Adaptive Optimizers quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is Adam and Adaptive Optimizers?

Adam āđ€āļ›āđ‡āļ™āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļ—āļĩāđˆāļ­āļĒāļđāđˆāđ€āļšāļ·āđ‰āļ­āļ‡āļŦāļĨāļąāļ‡āđ‚āļ„āļĢāļ‡āļ‚āđˆāļēāļĒāļ›āļĢāļ°āļŠāļēāļ—āđ€āļ—āļĩāļĒāļĄāļ—āļĩāđˆāļ—āļąāļ™āļŠāļĄāļąāļĒāļ—āļĩāđˆāļŠāļļāļ” āđ‚āļ”āļĒāļˆāļ°āļ›āļĢāļąāļšāļ­āļąāļ•āļĢāļēāļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđāļĒāļāļāļąāļ™āļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāđ‚āļ”āļĒāļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļī āđ€āļ›āđ‡āļ™āđ€āļĢāļ·āđˆāļ­āļ‡āļŠāļģāļ„āļąāļāđ€āļžāļĢāļēāļ°āļĄāļąāļ™āļ—āļģāđƒāļŦāđ‰āļāļēāļĢāļāļķāļāđ‚āļĄāđ€āļ”āļĨāđ€āļŠāļīāļ‡āļĨāļķāļāđ€āļĢāđ‡āļ§āļ‚āļķāđ‰āļ™āđāļĨāļ°āļžāļīāļ–āļĩāļžāļīāļ–āļąāļ™āļ™āđ‰āļ­āļĒāļāļ§āđˆāļēāļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩāļ˜āļĢāļĢāļĄāļ”āļēāļĄāļēāļ

āļ­āļ”āļąāļĄāļ•āļīāļ”āļ•āļēāļĄāļ›āļĢāļīāļĄāļēāļ“āļŠāļ­āļ‡āļˆāļģāļ™āļ§āļ™āđƒāļ”āļŠāļģāļŦāļĢāļąāļšāđāļ•āđˆāļĨāļ°āļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒ

āļ­āļ”āļąāļĄāđ€āļāđ‡āļšāļ„āđˆāļēāđ€āļ‰āļĨāļĩāđˆāļĒāđāļšāļšāļ—āļ§āļĩāļ„āļđāļ“āļ‚āļ­āļ‡āļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩ (āļŠāđˆāļ§āļ‡āđāļĢāļ) āđāļĨāļ°āļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩāđāļšāļšāļĒāļāļāļģāļĨāļąāļ‡āļŠāļ­āļ‡ (āļŠāđˆāļ§āļ‡āļ—āļĩāđˆāļŠāļ­āļ‡) āļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒ

āđ€āļŦāļ•āļļāđƒāļ”āļ­āļ”āļąāļĄāļˆāļķāļ‡āđƒāļŠāđ‰āļāļēāļĢāđāļāđ‰āđ„āļ‚āļ­āļ„āļ•āļīāļāļąāļšāļāļēāļĢāļ›āļĢāļ°āļĄāļēāļ“āļ„āđˆāļēāđ‚āļĄāđ€āļĄāļ™āļ•āđŒāļ‚āļ­āļ‡āļĄāļąāļ™

āļ—āļąāđ‰āļ‡ m āđāļĨāļ° v āļ–āļđāļāļāļģāļŦāļ™āļ”āļ„āđˆāļēāđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āđƒāļŦāđ‰āđ€āļ›āđ‡āļ™āļĻāļđāļ™āļĒāđŒ āļ”āļąāļ‡āļ™āļąāđ‰āļ™āļāļēāļĢāļ›āļĢāļ°āļĄāļēāļ“āļ„āđˆāļēāđ€āļšāļ·āđ‰āļ­āļ‡āļ•āđ‰āļ™āļˆāļķāļ‡āļĄāļĩāļ­āļ„āļ•āļīāļ•āđˆāļģ āļāļēāļĢāļŦāļēāļĢāļ”āđ‰āļ§āļĒ (1 - beta^t) āļˆāļ°āļŠāđˆāļ§āļĒāđāļāđ‰āđ„āļ‚āļŠāļīāđˆāļ‡āļ™āļĩāđ‰

āļ­āļ°āđ„āļĢāļ„āļ·āļ­āļ„āļ§āļēāļĄāđāļ•āļāļ•āđˆāļēāļ‡āļ—āļĩāđˆāļŠāļģāļ„āļąāļāļĢāļ°āļŦāļ§āđˆāļēāļ‡ Adam āđāļĨāļ° AdamW?

AdamW āđƒāļŠāđ‰āļāļēāļĢāļĨāļ”āļ—āļ­āļ™āļ™āđ‰āļģāļŦāļ™āļąāļāļāļąāļšāļ•āļļāđ‰āļĄāļ™āđ‰āļģāļŦāļ™āļąāļāđ‚āļ”āļĒāļ•āļĢāļ‡ āđāļ—āļ™āļ—āļĩāđˆāļˆāļ°āļœāļŠāļĄāļĨāļ‡āđƒāļ™āļĢāļ°āļĒāļ°āđ€āļāļĢāđ€āļ”āļĩāļĒāļ™āļ•āđŒāđāļšāļšāļ›āļĢāļąāļšāđ„āļ”āđ‰ āļ‹āļķāđˆāļ‡āļŠāđˆāļ§āļĒāļ›āļĢāļąāļšāļ›āļĢāļļāļ‡āļĨāļąāļāļĐāļ“āļ°āļ—āļąāđˆāļ§āđ„āļ›āđƒāļ™āļŦāļĄāđ‰āļ­āđāļ›āļĨāļ‡

āļ„āļģāļ§āđˆāļē epsilon āļ‚āļ™āļēāļ”āđ€āļĨāđ‡āļāļĄāļĩāļšāļ—āļšāļēāļ—āļ­āļĒāđˆāļēāļ‡āđ„āļĢāđƒāļ™āļāļŽāļāļēāļĢāļ­āļąāļ›āđ€āļ”āļ•āļ‚āļ­āļ‡ Adam

āđ€āļ­āļ›āļ‹āļīāļĨāļ­āļ™ (āļ›āļĢāļ°āļĄāļēāļ“ 1e-8) āļˆāļ°āļ–āļđāļāđ€āļžāļīāđˆāļĄāđ€āļ‚āđ‰āļēāđ„āļ›āđƒāļ™āļ•āļąāļ§āļŠāđˆāļ§āļ™ āđ€āļžāļ·āđˆāļ­āđƒāļŦāđ‰āļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāļ—āļĩāđˆāļĄāļĩāļ„āđˆāļēāđ€āļ‰āļĨāļĩāđˆāļĒāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļāļģāļĨāļąāļ‡āļŠāļ­āļ‡āđƒāļāļĨāđ‰āļĻāļđāļ™āļĒāđŒāđ„āļĄāđˆāļ—āļģāđƒāļŦāđ‰āđ€āļāļīāļ”āļāļēāļĢāļĢāļ°āđ€āļšāļīāļ”

āđ€āļŦāļ•āļļāđƒāļ”āļ­āļ”āļąāļĄāļˆāļķāļ‡āļĄāļąāļāļ–āļđāļāđ€āļĢāļĩāļĒāļāļ§āđˆāļē 'āļ›āļĢāļąāļšāļ•āļąāļ§'?

āļ”āđ‰āļ§āļĒāļāļēāļĢāļŦāļēāļĢāļ”āđ‰āļ§āļĒāļĢāļēāļāļ—āļĩāđˆāļŠāļ­āļ‡āļ‚āļ­āļ‡āļ„āđˆāļēāđ€āļ‰āļĨāļĩāđˆāļĒāļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩāļāļģāļĨāļąāļ‡āļŠāļ­āļ‡āļ‚āļ­āļ‡āđāļ•āđˆāļĨāļ°āļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒ Adam āļˆāļ°āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāđāļ—āļ™āļ—āļĩāđˆāļˆāļ°āđƒāļŠāđ‰āļ„āđˆāļēāđ€āļ”āļĩāļĒāļ§āđ‚āļ”āļĒāļĢāļ§āļĄ

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļž ZeRO āđāļĨāļ° Sharded

āđ€āļ—āļ„āļ™āļīāļ„

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →