āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āđāļāļāļĢāļĨāļēāļāļŠāļļāđāļĄāļāļĢāđāļāļĄāđāļĄāđāļĄāļāļāļąāļĄ
āļāļ§āļēāļĄāļĢāļđāđāļāļ·āđāļāļāļēāļ
āļāļđāđāļĄāļ·āļāļāļ·āđāļāļāļēāļ
āļāļēāļĢāļāļāļāļāļĨāļēāļāļāļąāļāđāļāđāļāđāļāļĨāđāļāļĨāļąāļāļāļēāļĢāļāļģāđāļŦāđāđāļāđāļāļĄāļēāļāļĢāļāļēāļāļāļķāđāļāļāļ°āļŠāļļāđāļĄāļāļīāļāđāļĻāļĐāļŠāđāļ§āļāļāļāļāđāļāļĨāļĨāđāļāļĢāļ°āļŠāļēāļāđāļāļĢāļ°āļŦāļ§āđāļēāļāđāļāđāļĨāļ°āļāļąāđāļāļāļāļāļāļēāļĢāļāļķāļāļāļāļĢāļĄ āļāļąāļāļāļąāļāđāļŦāđāđāļāļĢāļ·āļāļāđāļēāļĒāļŠāļĢāđāļēāļāļāļēāļĢāđāļāđāļāļāļąāļ§āđāļāļāļāļĩāđāļāđāļģāļāđāļāļāđāļĨāļ°āļĄāļĩāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļ
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
āļĄāļąāļāļāļĨāļēāļĒāđāļāđāļāļŦāļāļķāđāļāđāļāđāļāļāļāļīāļāļāļĩāđāļĄāļĩāļāļīāļāļāļīāļāļĨāļĄāļēāļāļāļĩāđāļŠāļļāļāđāļāļāļēāļĢāļāđāļāļŠāļđāđāļāļąāļāļāļēāļĢāļāļīāļāđāļāļīāļāđāļāļāļĩāļāđāļĨāļīāļĢāđāļāļāļīāļ
āđāļāļīāļāļāļąāļ§āđāļāļĒāļāļĨāļļāđāļĄāļāļāļ Hinton āļāļĢāļ°āļĄāļēāļāļāļĩ 2012 āļāļēāļĢāļāļāļāļāļēāļāļāļĨāļēāļāļāļąāļāļāļĨāđāļēāļ§āļāļķāļāļāļļāļāļāđāļāļāļāļĩāđāļŠāļģāļāļąāļāļāļāļāđāļāļĢāļ·āļāļāđāļēāļĒāļāļāļēāļāđāļŦāļāđ: āđāļāļĨāļĨāđāļāļĢāļ°āļŠāļēāļāļŠāļēāļĄāļēāļĢāļāļāļĢāļąāļāļāļąāļ§āļĢāđāļ§āļĄāļāļąāļāđāļāđ āđāļĢāļĩāļĒāļāļĢāļđāđāļāļĩāđāļāļ°āđāļāđāđāļāļāđāļāļāļīāļāļāļĨāļēāļāļāļāļāļāļąāļāđāļĨāļ°āļāļąāļāđāļāļĢāļđāļāđāļāļāļāļĩāđāđāļāđāļāļąāļāļāđāļāļĄāļđāļĨāļāļēāļĢāļāļķāļāļāļāļĢāļĄāđāļāđāļēāļāļąāđāļ āļāļļāļāļāļĢāļąāđāļāļāļĩāđāļŠāđāļāļāđāļāļĢāļ°āļŦāļ§āđāļēāļāļāļēāļĢāļāļķāļ āļāļēāļĢāļāļāļāļāļĨāļēāļāļāļąāļāļāļ°āļŠāļļāđāļĄāļāļąāđāļāļāđāļēāđāļāļēāļāđāļāļļāļāļāļāļāđāļāļĨāļĨāđāļāļĢāļ°āļŠāļēāļāđāļāđāļĨāļ°āļāļąāļ§āđāļŦāđāđāļāđāļāļĻāļđāļāļĒāđ āđāļāļĒāļĄāļĩāļāļ§āļēāļĄāļāđāļēāļāļ°āđāļāđāļ p (āļĄāļąāļāļāļ° 0.5 āđāļāļāļąāđāļāļŦāļāļēāđāļāđāļ) āđāļāļ·āđāļāļāļāļēāļāđāļāļĨāļĨāđāļāļĢāļ°āļŠāļēāļāđāļāđ āļāļēāļāļŦāļēāļĒāđāļ āđāļāļĢāļ·āļāļāđāļēāļĒāļāļķāļāđāļĄāđāļŠāļēāļĄāļēāļĢāļāļāļēāļĻāļąāļĒāļāļ§āļēāļĄāļĢāđāļ§āļĄāļĄāļ·āļāļāļĩāđāđāļāļĢāļēāļ°āļāļēāļāđāļāđ āđāļĨāļ°āļāđāļāļāļāļĢāļ°āļāļēāļĒāļāđāļāļĄāļđāļĨāļāļĩāđāđāļāđāļāļāļĢāļ°āđāļĒāļāļāđāđāļāļĒāļąāļāļŦāļĨāļēāļĒāļŦāļāđāļ§āļĒ āļŠāļīāđāļāļāļĩāđāļāļģāļŦāļāđāļēāļāļĩāđāđāļŦāļĄāļ·āļāļāļāļąāļāļāļēāļĢāļāļķāļāđāļāļĢāļ·āļāļāđāļēāļĒāļāļāļēāļāđāļŦāļāđāļāļĩāđāļāļēāļāļĨāļāļāļķāđāļāđāļāđāļāļāđāļģāļŦāļāļąāļāļāļąāļ āđāļĄāļ·āđāļāđāļ§āļĨāļēāļāļāļŠāļāļāļāļđāļāļāļīāļ āđāļĨāļ°āđāļāđāđāļāļĢāļ·āļāļāđāļēāļĒāļāļąāđāļāļŦāļĄāļ āđāļāļĒāļĄāļĩāļāļēāļĢāļāļĢāļąāļāļāļāļēāļāļāļēāļĢāđāļāļīāļāđāļāđāļāļēāļāđāļāļ·āđāļāđāļŦāđāļāļĨāļĨāļąāļāļāđāļāļĩāđāļāļēāļāļŦāļ§āļąāļāļāļĢāļāļāļąāļāļāļēāļĢāļāļķāļ āđāļāļĒāļāļąāđāļ§āđāļāđāļĨāđāļ§āļāļĨāļĨāļąāļāļāđāļāļĩāđāđāļāđāļāļ°āđāļāđāļāļĨāļąāļāļĐāļāļ°āļāļąāđāļ§āđāļāļāļĩāđāļāļĩāļāļ§āđāļēāđāļāļĒāđāļŠāļĩāļĒāļāđāļēāđāļāđāļāđāļēāļĒāđāļāļāļēāļĢāļāļķāļāļāļāļĢāļĄāļāļĩāđāļāļēāļāļāļķāđāļāđāļĨāđāļāļāđāļāļĒ
āļāļēāļĢāđāļāļīāđāļĄāđāļĨāđāļĒāļāļĢāđ Dropout āļāđāļ§āļĒ p āļāļĢāļ°āļĄāļēāļ 0.5 āļĢāļ°āļŦāļ§āđāļēāļāđāļĨāđāļĒāļāļĢāđāļŦāļāļēāđāļāđāļāļāļāļāļĢāļđāļāļ āļēāļāļŦāļĢāļ·āļāļāļąāļ§āđāļĒāļāļāļĢāļ°āđāļ āļāļāđāļāļāļ§āļēāļĄāđāļ PyTorch āļŦāļĢāļ·āļ Keras
āđāļĄāđāļāļĨāļŦāļĄāđāļāđāļāļĨāļāđāļāļāđāļēāļāļĩāđāđāļāđāļāļēāļĢāļāļĢāđāļāļāđāļāļēāļāđāļāļąāļāļāļļāđāļĄāļāđāļģāļŦāļāļąāļāļāļ§āļēāļĄāļŠāļāđāļāđāļĨāļ°āļāļēāļĢāđāļāļīāļāđāļāđāļāļēāļāļāļĩāļāđāļāļāđāļēāļāļŦāļāđāļēāļĢāļ°āļŦāļ§āđāļēāļāļāļēāļĢāļāļķāļāļĨāđāļ§āļāļŦāļāđāļē
āļāļēāļĢāļāļāļāļāļēāļāļāļĨāļēāļāļāļąāļāđāļāļāļĄāļāļāļāļīāļāļēāļĢāđāđāļĨ āđāļāļĒāļāļĩāđāļāļēāļĢāļāļāļāļāļēāļāļāļĨāļēāļāļāļąāļāļĒāļąāļāļāļāļāļĒāļđāđāļāļĩāđāļāļāļļāļĄāļēāļāđāļāļ·āđāļāļŠāļĢāđāļēāļāļāļēāļĢāļāļĢāļ°āļĄāļēāļāļāļēāļĢāļāļ§āļēāļĄāđāļĄāđāđāļāđāļāļāļāļŠāļģāļŦāļĢāļąāļāļāļēāļĢāļāļēāļāļāļēāļĢāļāđāļāļēāļāļāļēāļĢāđāļāļāļĒāđāļŦāļĢāļ·āļāļāļ§āļēāļĄāļāļĨāļāļāļ āļąāļĒāļāļĩāđāļŠāļģāļāļąāļ
āļāļ§āļēāļĄāļĨāļķāļāļāļāļāļŠāļļāđāļĄ (DropPath) āļŠāļļāđāļĄāļāđāļēāļĄāļāļĨāđāļāļāļāļĩāđāđāļŦāļĨāļ·āļāđāļāļ·āđāļāļāļģāđāļŦāđāđāļāļĢāļ·āļāļāđāļēāļĒāļāļĩāđāļĄāļĩāļāļ§āļēāļĄāļĨāļķāļāļĄāļēāļāđāļāđāļāļāļāļāļī āđāļāđāļ ResNets āđāļĨāļ°āļāļąāļ§āđāļāļĨāļāļāļēāļĢāļĄāļāļāđāļŦāđāļ
āđāļāđāļāļĢāļ·āļāļāđāļēāļĒāļāļēāļĢāļĄāļāļāđāļŦāđāļāđāļāļāļŦāļĄāļļāļāļ§āļ āļāļēāļĢāļāļģāđāļŦāđāđāļāđāļāļĄāļēāļāļĢāļāļēāļāđāļāļāđāļāļāļāđāđāļāđāđāļāđāļēāļĄāļēāđāļāļāļāļĩāđāļāļēāļĢāđāļĨāļ·āđāļāļāļĄāļēāļāļĢāļāļēāļāđāļāđāļāđāļāļŠāđāļ§āļāđāļŦāļāđ āđāļāđāļāļąāļ§āđāļāļĢāļāđāļēāļāđ āđāļāļīāļāđāļāđāļāđāļāļĩāđāļāļāļĩāđāļāļ·āđāļ: āļŦāļĄāđāļāđāļāļĨāļāđāļāđāļāļēāļĢāđāļĨāļ·āđāļāļāļāļāļāđāļāļĒāļąāļāđāļĨāđāļĒāļāļĢāđāļāļ§āļēāļĄāļŠāļāđāļāđāļĨāļ°āļāļĩāļāđāļāļāđāļēāļāļŦāļāđāļē āđāļĨāļ° DropPath (āļāļ§āļēāļĄāļĨāļķāļāļŠāļļāđāļĄ) āļāļ°āļāļĨāđāļāļĒāļāļĨāđāļāļāļāļĩāđāđāļŦāļĨāļ·āļāļāļąāđāļāļŦāļĄāļ āļāļēāļĢāļāļāļāļāļĨāļēāļāļāļąāļāđāļāļāļĄāļāļāļāļīāļāļēāļĢāđāđāļĨ āļāļķāđāļāļāļģāđāļŦāđāļāļēāļĢāļāļāļāļāļĨāļēāļāļāļąāļāļĒāļąāļāļāļāđāļāđāļāļēāļāļāļĒāļđāđāļāļĩāđāļāļēāļĢāļāļāļļāļĄāļēāļ āđāļāđāđāļāļ·āđāļāļāļĢāļ°āļĄāļēāļāļāļ§āļēāļĄāđāļĄāđāđāļāđāļāļāļāļāļāļāđāļāļāļāļģāļĨāļāļ āļāļēāļāļ§āđāļēāļāļēāļĢāļāļģāđāļŦāđāđāļāđāļāļĄāļēāļāļĢāļāļēāļāđāļāļāļŠāļļāđāļĄāļāļ°āļĒāļąāļāļāļāđāļāđāļāļāļļāļāđāļāļĢāļ·āđāļāļāļĄāļ·āļāļāļĩāđāļĒāļ·āļāļŦāļĒāļļāđāļ āļāļķāđāļāļāļĢāļąāļāđāļāļĨāļĩāđāļĒāļāļāļēāļĄāļŠāļāļēāļāļąāļāļĒāļāļĢāļĢāļĄ āđāļāļāļāļĩāđāļāļ°āđāļāđāļāļŠāļđāļāļĢāļāļēāļĒāļāļąāļ§āđāļāļĩāļĒāļ§
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
āļāļēāļĢāļāļāļāļāļĨāļēāļāļāļąāļāđāļāđāļāđāļāļĨāđāļāļĨāļąāļāļāļēāļĢāļāļģāđāļŦāđāđāļāđāļāļĄāļēāļāļĢāļāļēāļāļāļķāđāļāļāļ°āļŠāļļāđāļĄāļāļīāļāđāļĻāļĐāļŠāđāļ§āļāļāļāļāđāļāļĨāļĨāđāļāļĢāļ°āļŠāļēāļāđāļāļĢāļ°āļŦāļ§āđāļēāļāđāļāđāļĨāļ°āļāļąāđāļāļāļāļāļāļēāļĢāļāļķāļāļāļāļĢāļĄ āļāļąāļāļāļąāļāđāļŦāđāđāļāļĢāļ·āļāļāđāļēāļĒāļŠāļĢāđāļēāļāļāļēāļĢāđāļāđāļāļāļąāļ§āđāļāļāļāļĩāđāļāđāļģāļāđāļāļāđāļĨāļ°āļĄāļĩāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļ āļĄāļąāļāļāļĨāļēāļĒāđāļāđāļāļŦāļāļķāđāļāđāļāđāļāļāļāļīāļāļāļĩāđāļĄāļĩāļāļīāļāļāļīāļāļĨāļĄāļēāļāļāļĩāđāļŠāļļāļāđāļāļāļēāļĢāļāđāļāļŠāļđāđāļāļąāļāļāļēāļĢāđāļĢāļĩāļĒāļāļĢāļđāđāđāļāļīāļāļĨāļķāļāļĄāļēāļāđāļāļīāļāđāļ
āļāļēāļĢāļāļāļāļāļĨāļēāļāļāļąāļāļāļ°āļŠāļļāđāļĄāļĻāļđāļāļĒāđāđāļāđāļĨāļ°āđāļāļĨāļĨāđāļāļĢāļ°āļŠāļēāļāļāđāļ§āļĒāļāļ§āļēāļĄāļāđāļēāļāļ°āđāļāđāļ p āđāļāļĢāļ°āļŦāļ§āđāļēāļāļāļēāļĢāļāļķāļ āļāļąāļāļāļąāđāļāļāļķāļāđāļāđāđāļāļĢāļ·āļāļāđāļēāļĒāļĒāđāļāļĒāđāļāļāļāļēāļāļāļĩāđāđāļāļāļāđāļēāļāļāļąāļāđāļāđāļāđāļĨāļ°āļāļąāđāļāļāļāļ
āļāđāļ§āļĒāļāļēāļĢāļŠāļļāđāļĄāļĨāļāļĒāļđāļāļīāļāļāļāļ āļāļēāļĢāļāļāļāļāļĨāļēāļāļāļąāļāļāļ°āļŦāļĒāļļāļāđāļāļĨāļĨāđāļāļĢāļ°āļŠāļēāļāļāļēāļāļāļēāļĢāļŠāļĢāđāļēāļāļāļąāļāļāļĄāļīāļāļĢāļāļĩāđāđāļāļĢāļēāļ°āļāļēāļ āļāļķāđāļāļāļ°āļāļģāļāļēāļāđāļāļāļēāļ°āļāļąāļāļāđāļāļĄāļđāļĨāļāļēāļĢāļāļķāļāļāļāļĢāļĄ āđāļĨāļ°āļāļĢāļąāļāļāļĢāļļāļāļāļ§āļēāļĄāļāļāļāļēāļ
āđāļĄāļ·āđāļāļāļāļļāļĄāļēāļ āđāļāļĢāļ·āļāļāđāļēāļĒāļāļąāđāļāļŦāļĄāļāļāļ°āļāļģāļāļēāļāđāļāļĒāļāļīāļāđāļāđāļāļēāļāļāļēāļĢāļāļāļāļāļĨāļēāļāļāļąāļ āđāļĨāļ°āļāļēāļĢāđāļāļīāļāđāļāđāļāļēāļāļāļ°āļāļđāļāļāļĢāļąāļāļāļāļēāļ āļāļąāļāļāļąāđāļāđāļāļēāļāđāļāļļāļāļāļĩāđāļāļēāļāļŦāļ§āļąāļāļāļķāļāļāļĢāļāļāļąāļāļāļēāļĢāļāļĢāļ°āļāļēāļĒāļāļēāļĢāļāļķāļ
āđāļāļĒāļāļĩāđ p = 0.5 āđāļāļĨāļĨāđāļāļĢāļ°āļŠāļēāļāđāļāđāļĨāļ°āđāļāļĨāļĨāđāļĄāļĩāđāļāļāļēāļŠ 50 āđāļāļāļĢāđāđāļāđāļāļāđāļāļĩāđāļāļ°āđāļāđāļāļĻāļđāļāļĒāđ āļāļąāļāļāļąāđāļāđāļāļĒāđāļāļĨāļĩāđāļĒāđāļĨāđāļ§āļāļĢāļ°āļĄāļēāļāļāļĢāļķāđāļāļŦāļāļķāđāļāļāļ°āļĨāļāļĨāļāļāđāļāļāļēāļĢāļŠāđāļāļāđāļāđāļāđāļĨāļ°āļāļĢāļąāđāļ
āļāļēāļĢāļŠāļļāđāļĄāļāļąāļ§āļāļĒāđāļēāļāđāļāļĢāļ·āļāļāđāļēāļĒāļĒāđāļāļĒāļāļĩāđāđāļāļāļāđāļēāļāļāļąāļāđāļāđāļāđāļĨāļ°āļāļąāđāļāļāļāļāļāļ°āļāļĢāļ°āļĄāļēāļāļāđāļēāđāļāļĨāļĩāđāļĒāļāļāļāđāļāļĢāļ·āļāļāđāļēāļĒāļāđāļģāļŦāļāļąāļāļĢāđāļ§āļĄāđāļāļāđāļāļāļāđāđāļāđāļāļāđāļāļĩāļĒāļĨ āļāļķāđāļāđāļāđāļāļĢāļđāļāđāļāļāļŦāļāļķāđāļāļāļāļāļāļēāļĢāļĢāļ§āļĄāļāļĨāļļāđāļĄāļĢāļēāļāļēāļāļđāļ
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āđāļāļāļĢāļĨāļēāļāļŠāļļāđāļĄāļāļĢāđāļāļĄāđāļĄāđāļĄāļāļāļąāļĄ
āļāļ§āļēāļĄāļĢāļđāđāļāļ·āđāļāļāļēāļ