āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āđāļāļĢāļ·āđāļāļāļĄāļ·āļāđāļāļīāđāļĄāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļ ZeRO āđāļĨāļ° Sharded
āđāļāļāļāļīāļ
āļāļđāđāļĄāļ·āļāļāļēāļāđāļāļāļāļīāļ
Adam āđāļāđāļāđāļāļĢāļ·āđāļāļāļĄāļ·āļāđāļāļīāđāļĄāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļĩāđāļāļĒāļđāđāđāļāļ·āđāļāļāļŦāļĨāļąāļāđāļāļĢāļāļāđāļēāļĒāļāļĢāļ°āļŠāļēāļāđāļāļĩāļĒāļĄāļāļĩāđāļāļąāļāļŠāļĄāļąāļĒāļāļĩāđāļŠāļļāļ āđāļāļĒāļāļ°āļāļĢāļąāļāļāļąāļāļĢāļēāļāļēāļĢāđāļĢāļĩāļĒāļāļĢāļđāđāđāļĒāļāļāļąāļāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđāđāļāļĒāļāļąāļāđāļāļĄāļąāļāļī
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
It matters because it makes training deep models faster and far less finicky than plain gradient descent.
Adam (Adaptive Moment Estimation) āđāļāļīāļāļāļąāļ§āđāļāļĒ Kingma āđāļĨāļ° Ba āđāļāļāļĩ 2014 āļĢāļ§āļĄāļŠāļāļāđāļāļ§āļāļīāļāđāļāđāļēāļāđāļ§āļĒāļāļąāļ āļāļĢāļ°āļāļēāļĢāđāļĢāļ āđāļĄāđāļĄāļāļāļąāļĄ: āļĄāļąāļāļāļ°āļĢāļąāļāļĐāļēāļāđāļēāđāļāļĨāļĩāđāļĒāļāļāļāļāļēāļĢāđāļĨāđāļĢāļ°āļāļąāļāļŠāļĩāļāļĩāđāļāđāļēāļāļĄāļēāđāļāļāļāļ§āļĩāļāļđāļ (āļāđāļ§āļāđāļĢāļ) āļāļąāļāļāļąāđāļāđāļŦāđāļāļąāļāđāļāļāļāļ§āļēāļĄāđāļĢāđāļ§āđāļāļāļēāļĢāļŠāļĢāđāļēāļāđāļāļāļīāļĻāļāļēāļāļāļĩāđāļŠāļāļāļāļĨāđāļāļāļāļąāļ āļāļĢāļ°āļāļēāļĢāļāļĩāđāļŠāļāļ āļĄāļēāļāļĢāļēāļŠāđāļ§āļāļāđāļāļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđ: āļāļīāļāļāļēāļĄāļāđāļēāđāļāļĨāļĩāđāļĒāļāļāļāļāļēāļĢāđāļĨāđāļĢāļ°āļāļąāļāļŠāļĩāļāļģāļĨāļąāļāļŠāļāļ (āļāđāļ§āļāđāļ§āļĨāļēāļāļĩāđāļŠāļāļ) āđāļĨāļ°āļŦāļēāļĢāđāļāđāļĨāļ°āļāļąāđāļāļāļāļāļāđāļ§āļĒāļĢāļēāļāļāļĩāđāļŠāļāļāļāļāļāļāđāļēāļāļąāđāļ āļāļąāļāļāļąāđāļāļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđāļāļĩāđāļĄāļĩāļāļēāļĢāđāļĨāđāļĢāļ°āļāļąāļāļŠāļĩāļāļāļēāļāđāļŦāļāđāđāļĨāļ°āļĄāļĩāđāļŠāļĩāļĒāļāļĢāļāļāļ§āļāļāļ°āđāļāđāļāļąāđāļāļāļāļāļāļĩāđāđāļĨāđāļāļĨāļ āđāļĨāļ°āļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđāļāļĩāđāđāļĄāđāļāđāļāļĒāđāļāđāļĢāļąāļāļāļēāļĢāļāļąāļāđāļāļāļāļ°āđāļāđāļāļąāđāļāļāļāļāļāļĩāđāđāļŦāļāđāļāļ§āđāļē āļāļēāļĢāļāļĢāļąāļāļāļąāļ§āļāļĩāđāļŦāļĄāļēāļĒāļāļ§āļēāļĄāļ§āđāļēāļāļļāļāļŠāļēāļĄāļēāļĢāļāđāļāđāļāļąāļāļĢāļēāļāļēāļĢāđāļĢāļĩāļĒāļāļĢāļđāđāđāļāļĩāļĒāļ§āļāļąāđāļ§āļāļąāđāļāđāļāļĢāļ·āļāļāđāļēāļĒāđāļāđ āļāļąāļ§āđāļāļĢ AdamW āđāļĒāļāļāļēāļĢāļĨāļāļāđāļģāļŦāļāļąāļāļāļāļāļāļēāļāļāļēāļĢāļāļąāļāđāļāļāļāļēāļĢāđāļĨāđāļĢāļ°āļāļąāļāļŠāļĩ āđāļĨāļ°āļāļĨāļēāļĒāđāļāđāļāļāđāļēāđāļĢāļīāđāļĄāļāđāļāļŠāļģāļŦāļĢāļąāļāļāļēāļĢāļāļķāļāļŦāļĄāđāļāđāļāļĨāļāļāļāļēāļāđāļŦāļāđāđāļĨāļ°āđāļĄāđāļāļĨāļ āļēāļĐāļē
āļāļķāļāļāļāļĢāļĄāđāļĄāđāļāļĨāļ āļēāļĐāļēāļāļāļēāļāđāļŦāļāđ āđāļāđāļ GPT āđāļĨāļ° Llama āļāļķāđāļāđāļāđ AdamW āđāļāđāļāļāļąāļ§āđāļāļīāđāļĄāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļĄāļēāļāļĢāļāļēāļ
āļāļēāļĢāļāļĢāļąāļāđāļāđāļāļāļąāļ§āđāļĒāļāļāļĢāļ°āđāļ āļāļĢāļđāļāļ āļēāļāļāļĩāđāđāļāđāļĢāļąāļāļāļēāļĢāļāļķāļāđāļ§āđāļĨāđāļ§āļāļŦāļāđāļēāļāļĒāđāļēāļāļĨāļ°āđāļāļĩāļĒāļ (āđāļāđāļ ResNet) āļāļāļāļļāļāļāđāļāļĄāļđāļĨāļāļĩāđāļāļģāļŦāļāļāđāļāļāļāđāļ§āļĒāļāļąāļāļĢāļēāļāļēāļĢāđāļĢāļĩāļĒāļāļĢāļđāđāđāļĢāļīāđāļĄāļāđāļāļāļāļ Adam
āļāļķāļāļāļāļĢāļĄāđāļĄāđāļāļĨāļāļēāļĢāđāļāļĢāđāļāļĢāļ°āļāļēāļĒāđāļāļ·āđāļāļāļŦāļĨāļąāļāļāļąāļ§āļŠāļĢāđāļēāļāļ āļēāļ āđāļāđāļ Stable Diffusion
āļāļēāļĢāđāļāđāļāļēāļ Adam 8 āļāļīāļāđāļāđāļĨāļāļĢāļēāļĢāļĩāđāļāđāļāļāļīāļāđāļāļāļāđāđāļāļāđāđāļāļ·āđāļāđāļŦāđāļāļāļāļĩāļāļąāļāļŠāļāļēāļāļ°āļāļāļāđāļāļĢāļ·āđāļāļāļĄāļ·āļāđāļāļīāđāļĄāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāđāļāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģ GPU āļāļĩāđāļāļģāļāļąāļ
Adam āđāļĨāļ° AdamW āļĒāļąāļāļāļāļĄāļĩāļāļāļāļēāļāļŠāļģāļāļąāļ āđāļāđāļāļēāļĢāļ§āļīāļāļąāļĒāļāļģāļĨāļąāļāļāļĨāļąāļāļāļąāļāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļŠāļģāļŦāļĢāļąāļāđāļāļāļāļģāļĨāļāļāļĨāđāļēāļāļĨāđāļēāļāļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđ āļāļķāđāļāļāļēāļĢāļāļąāļāđāļāđāļāļāđāļēāļāļīāđāļĻāļĐāļŠāļāļāļāđāļēāļāđāļāļāđāļģāļŦāļāļąāļāļĄāļĩāļāđāļēāđāļāđāļāđāļēāļĒāļŠāļđāļ āļāļąāļ§āđāļāļĢāđāļŠāļāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģ āđāļāđāļ Adafactor, Adam 8 āļāļīāļ āđāļĨāļ°āđāļāļĢāļ·āđāļāļāļĄāļ·āļāđāļāļīāđāļĄāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļĢāļļāđāļāđāļŦāļĄāđ āđāļāđāļ Lion (āļāļķāđāļāđāļāđāđāļāļāļēāļ°āđāļĄāđāļĄāļāļāļąāļĄāļāļēāļĄāļŠāļąāļāļāļēāļāđāļāđāļēāļāļąāđāļ) āđāļĨāļ° Sophia āļĄāļļāđāļāļŦāļ§āļąāļāļāļĩāđāļāļ°āļāļąāļāļāļđāđāļāļļāļāļ āļēāļāļāļāļ Adam āļāđāļ§āļĒāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāļāđāļāļĒāļĨāļāļŦāļĢāļ·āļāļāļēāļĢāļāļĢāļĢāļāļāļāļąāļāļāļĩāđāđāļĢāđāļ§āļāļķāđāļ āļāļēāļāļ§āđāļēāļāļ°āļĄāļĩāđāļāļĢāļ·āđāļāļāļĄāļ·āļāđāļāļīāđāļĄāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāđāļāļāļāļĢāļąāļāđāļāļĨāļĩāđāļĒāļāļāļĩāđāđāļāđāļĢāļąāļāļāļēāļĢāļāļĢāļąāļāđāļāđāļāļĄāļēāđāļāļĒāđāļāļāļēāļ°āļŠāļģāļŦāļĢāļąāļāļāļēāļĢāļāļķāļāļāļāļĢāļĄāđāļāļāļāļĢāļ°āļāļēāļĒāļāļĩāđāļĄāļĩāļāļ§āļēāļĄāđāļĄāđāļāļĒāļģāļāđāļģāđāļāļ·āđāļāļāļąāļāļāļēāļāđāļāđāļ
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
Adam āđāļāđāļāđāļāļĢāļ·āđāļāļāļĄāļ·āļāđāļāļīāđāļĄāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļĩāđāļāļĒāļđāđāđāļāļ·āđāļāļāļŦāļĨāļąāļāđāļāļĢāļāļāđāļēāļĒāļāļĢāļ°āļŠāļēāļāđāļāļĩāļĒāļĄāļāļĩāđāļāļąāļāļŠāļĄāļąāļĒāļāļĩāđāļŠāļļāļ āđāļāļĒāļāļ°āļāļĢāļąāļāļāļąāļāļĢāļēāļāļēāļĢāđāļĢāļĩāļĒāļāļĢāļđāđāđāļĒāļāļāļąāļāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđāđāļāļĒāļāļąāļāđāļāļĄāļąāļāļī āđāļāđāļāđāļĢāļ·āđāļāļāļŠāļģāļāļąāļāđāļāļĢāļēāļ°āļĄāļąāļāļāļģāđāļŦāđāļāļēāļĢāļāļķāļāđāļĄāđāļāļĨāđāļāļīāļāļĨāļķāļāđāļĢāđāļ§āļāļķāđāļāđāļĨāļ°āļāļīāļāļĩāļāļīāļāļąāļāļāđāļāļĒāļāļ§āđāļēāļāļēāļĢāđāļĨāđāļĢāļ°āļāļąāļāļŠāļĩāļāļĢāļĢāļĄāļāļēāļĄāļēāļ
āļāļāļąāļĄāđāļāđāļāļāđāļēāđāļāļĨāļĩāđāļĒāđāļāļāļāļ§āļĩāļāļđāļāļāļāļāļāļēāļĢāđāļĨāđāļĢāļ°āļāļąāļāļŠāļĩ (āļāđāļ§āļāđāļĢāļ) āđāļĨāļ°āļāļēāļĢāđāļĨāđāļĢāļ°āļāļąāļāļŠāļĩāđāļāļāļĒāļāļāļģāļĨāļąāļāļŠāļāļ (āļāđāļ§āļāļāļĩāđāļŠāļāļ) āļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđ
āļāļąāđāļ m āđāļĨāļ° v āļāļđāļāļāļģāļŦāļāļāļāđāļēāđāļĢāļīāđāļĄāļāđāļāđāļŦāđāđāļāđāļāļĻāļđāļāļĒāđ āļāļąāļāļāļąāđāļāļāļēāļĢāļāļĢāļ°āļĄāļēāļāļāđāļēāđāļāļ·āđāļāļāļāđāļāļāļķāļāļĄāļĩāļāļāļāļīāļāđāļģ āļāļēāļĢāļŦāļēāļĢāļāđāļ§āļĒ (1 - beta^t) āļāļ°āļāđāļ§āļĒāđāļāđāđāļāļŠāļīāđāļāļāļĩāđ
AdamW āđāļāđāļāļēāļĢāļĨāļāļāļāļāļāđāļģāļŦāļāļąāļāļāļąāļāļāļļāđāļĄāļāđāļģāļŦāļāļąāļāđāļāļĒāļāļĢāļ āđāļāļāļāļĩāđāļāļ°āļāļŠāļĄāļĨāļāđāļāļĢāļ°āļĒāļ°āđāļāļĢāđāļāļĩāļĒāļāļāđāđāļāļāļāļĢāļąāļāđāļāđ āļāļķāđāļāļāđāļ§āļĒāļāļĢāļąāļāļāļĢāļļāļāļĨāļąāļāļĐāļāļ°āļāļąāđāļ§āđāļāđāļāļŦāļĄāđāļāđāļāļĨāļ
āđāļāļāļāļīāļĨāļāļ (āļāļĢāļ°āļĄāļēāļ 1e-8) āļāļ°āļāļđāļāđāļāļīāđāļĄāđāļāđāļēāđāļāđāļāļāļąāļ§āļŠāđāļ§āļ āđāļāļ·āđāļāđāļŦāđāļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđāļāļĩāđāļĄāļĩāļāđāļēāđāļāļĨāļĩāđāļĒāđāļĨāđāļĢāļ°āļāļąāļāļāļģāļĨāļąāļāļŠāļāļāđāļāļĨāđāļĻāļđāļāļĒāđāđāļĄāđāļāļģāđāļŦāđāđāļāļīāļāļāļēāļĢāļĢāļ°āđāļāļīāļ
āļāđāļ§āļĒāļāļēāļĢāļŦāļēāļĢāļāđāļ§āļĒāļĢāļēāļāļāļĩāđāļŠāļāļāļāļāļāļāđāļēāđāļāļĨāļĩāđāļĒāļāļēāļĢāđāļĨāđāļĢāļ°āļāļąāļāļŠāļĩāļāļģāļĨāļąāļāļŠāļāļāļāļāļāđāļāđāļĨāļ°āļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđ Adam āļāļ°āļāļĢāļąāļāļāļāļēāļāļāļąāđāļāļāļāļāļāđāļāļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđāđāļāļāļāļĩāđāļāļ°āđāļāđāļāđāļēāđāļāļĩāļĒāļ§āđāļāļĒāļĢāļ§āļĄ
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āđāļāļĢāļ·āđāļāļāļĄāļ·āļāđāļāļīāđāļĄāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļ ZeRO āđāļĨāļ° Sharded
āđāļāļāļāļīāļ