āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āđāļāļĢāļ·āļāļāđāļēāļĒāļŦāļĄāđāļāđāļāļĨāļāđāļāļīāļāļāļ·āđāļāļāļĩāđ
āļ§āļīāļāļ§āļĨāđāļāđāļ
āļāļđāđāļĄāļ·āļ AI āđāļāļāđāļŦāđāļāļ āļēāļ
Diffusion Transformers (DiTs) āļŠāļĨāļąāļ Convolutional U-Net āļāļĩāđāđāļāđāļāļŦāļąāļ§āđāļāļŠāļģāļāļąāļāļāļāļāļāļąāļ§āļŠāļĢāđāļēāļāļ āļēāļāđāļĨāļ°āļ§āļīāļāļĩāđāļāļŠāļģāļŦāļĢāļąāļāđāļāļāļŦāļĨāļąāļāļāļāļ Transformer
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
āļŠāļāļēāļāļąāļāļĒāļāļĢāļĢāļĄāļāļĩāđāļāļąāļāđāļāļĨāļ·āđāļāļāļĢāļ°āļāļāļāļąāđāļāļāļģ āđāļāđāļ Stable Diffusion 3 āđāļĨāļ° Sora āļāļāļ OpenAI āđāļĨāļ°āļāļĢāļąāļāļāļāļēāļāđāļāđāļāļĒāđāļēāļāļāđāļēāļāļķāđāļāđāļĄāļ·āđāļāļāļļāļāđāļāļīāđāļĄāļāļēāļĢāļāļĢāļ°āļĄāļ§āļĨāļāļĨ
āđāļāļāļāļģāļĨāļāļāļāļēāļĢāđāļāļĢāđāļāļĢāļ°āļāļēāļĒāļāļ°āļŠāļĢāđāļēāļāļ āļēāļāđāļāļĒāđāļĢāļīāđāļĄāļāļēāļāļŠāļąāļāļāļēāļāļĢāļāļāļ§āļāļāļĢāļīāļŠāļļāļāļāļīāđ āđāļĨāļ°āļāđāļāļĒāđ āļĨāļāļŠāļąāļāļāļēāļāļĢāļāļāļ§āļāđāļŦāđāđāļāđāļāļ āļēāļāļāļĩāđāđāļāļ·āđāļāļĄāđāļĒāļāļāļąāļ āđāļāđāļāđāļ§āļĨāļēāļŦāļĨāļēāļĒāļāļĩāļāļĩāđāđāļāļĢāļ·āļāļāđāļēāļĒāļāļĩāđāļāļģāļāļēāļĢāļĨāļāļŠāļąāļāļāļēāļāļĢāļāļāļ§āļāļāļąāđāļāđāļāđāļ U-Net āļāļķāđāļāđāļāđāļāļŠāļāļēāļāļąāļāļĒāļāļĢāļĢāļĄāđāļāļāļāļīāļāđāļāļĩāđāļĒāļ§ Diffusion Transformer āđāļāļīāļāļāļąāļ§āđāļāļĒ Peebles āđāļĨāļ° Xie āđāļāļāļĩ 2022 āđāļāļāļāļĩāđ U-Net āļāđāļ§āļĒ Transformer āļāļąāđāļāđāļĢāļāļĢāļđāļāļ āļēāļāļāļ°āļāļđāļāļāļĩāļāļāļąāļāļĨāļāđāļāļāļ·āđāļāļāļĩāđāđāļāļ āđāļāļĒāđāļāđāļāļāļāļāđāļāđāļāđāļāļāļāđāđāļĨāđāļāđ āđāļĨāļ°āđāļāđāļĨāļ°āđāļāļāļāđāļāļ°āļāļĨāļēāļĒāđāļāđāļāđāļāđāļāđāļ āđāļŦāļĄāļ·āļāļāļāļąāļāļāļģāđāļāđāļāļāļāļģāļĨāļāļāļ āļēāļĐāļē āļāļēāļāļāļąāđāļ Transformer āļāļ°āļāļĢāļ°āļĄāļ§āļĨāļāļĨāđāļāđāļāđāļāđāļŦāļĨāđāļēāļāļĩāđāļāđāļ§āļĒāļāļ§āļēāļĄāļŠāļāđāļāđāļāļāļąāļ§āđāļāļāđāļāđāļāđāļĨāļ°āļāļąāđāļāļāļāļāļāļēāļĢāļĨāļāļŠāļąāļāļāļēāļāļĢāļāļāļ§āļ āļāļēāļĢāļāđāļāļāļāļāļĩāđāļŠāļģāļāļąāļāļāļ·āļāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļāļ DiT āļāļĩāļāļķāđāļāļāļĒāđāļēāļāļāļēāļāļāļēāļĢāļāđāđāļāđāđāļĄāļ·āđāļāļāļļāļāđāļāļīāđāļĄāļāļāļēāļāđāļĄāđāļāļĨāđāļĨāļ°āļĨāļāļāļāļēāļāđāļāļāļāđ āļāļēāļĄāļāļāļŦāļĄāļēāļĒāļāļēāļĢāļāļĢāļąāļāļāļāļēāļāļāļĩāđāļŠāļ°āļāļēāļ āļāļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļāđāļāļāļēāļĢāļāļĢāļąāļāļāļāļēāļāļāļĩāđāļāļ·āļāļŠāļēāđāļŦāļāļļāļāļĩāđāļĢāļ°āļāļāđāļāļĨāļāļāđāļāļāļ§āļēāļĄāđāļāđāļāļ§āļīāļāļĩāđāļāđāļĨāļ°āļĢāļ°āļāļāđāļāļĨāļāļāđāļāļāļ§āļēāļĄāđāļāđāļāļĢāļđāļāļ āļēāļāļĢāļ°āļāļąāļāđāļŪāđāļāļāļāđāđāļāđāļĒāđāļēāļĒāđāļāļĒāļąāļāđāļāđāļāđāļāļāļāļāļ Transformer āđāļāđāļāļŠāđāļ§āļāđāļŦāļāđ
Sora āļāļāļ OpenAI āđāļāđāđāļāļāļŦāļĨāļąāļāļāļāļ Transformer āļāļāđāļāļāļāđāļāļēāļĨāļāļ§āļāļēāļĻāđāļāļ·āđāļāļŠāļĢāđāļēāļāļ§āļīāļāļĩāđāļāļāļĩāđāļĄāļĩāļāļ§āļēāļĄāđāļĄāđāļāļĒāļģāļŠāļđāļāļāļ§āļēāļĄāļĒāļēāļ§āļŦāļāļķāđāļāļāļēāļāļĩāļāļēāļāļāđāļāļāļ§āļēāļĄāđāļāđāļ
Stable Diffusion 3 āđāļāđ Multimodal Diffusion Transformer (MMDiT) āđāļāļ·āđāļāļāļąāļāđāļāļ§āļĢāļđāļāļ āļēāļāļāļĩāđāļŠāļĢāđāļēāļāļāļķāđāļāļāđāļ§āļĒāļāļģāļāļāļīāļāļēāļĒāļāđāļāļāļ§āļēāļĄāđāļāļĒāļĨāļ°āđāļāļĩāļĒāļāđāļāđāļāļĩāļĒāļīāđāļāļāļķāđāļ
āļāļąāļāļ§āļīāļāļąāļĒāļāļĢāļąāļāļāļāļēāļ DiT āđāļāđāļāļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđāļāļąāļāļāļąāļāļĨāđāļēāļāđāļĨāļ°āļŠāļąāļāđāļāļāļāļļāļāļ āļēāļāļāļāļāļ āļēāļāļāļĩāđāļāļĩāļāļķāđāļāļāļĒāđāļēāļāļāļēāļāļāļēāļĢāļāđāđāļāđ āļāļķāđāļāđāļāđāļāđāļāļ§āļāļēāļāđāļāļāļēāļĢāļāļąāļāļŠāļīāļāđāļāđāļĢāļ·āđāļāļāļāļāļāļĢāļ°āļĄāļēāļāļāļēāļĢāļāļĢāļ°āļĄāļ§āļĨāļāļĨ
āļŠāļāļđāļāļīāđāļāđāļāđāđāļĄāđāļāļĨāļāļĩāđāđāļāđ DiT āđāļāļ·āđāļāļāļĒāļēāļĒāļāļĨāļīāļāļŠāļąāđāļ āđāļāļĒāļāļ·āļāļ§āđāļēāđāļāļĢāļĄāļ§āļīāļāļĩāđāļāļāļīāđāļĻāļĐāđāļāđāļāđāļāđāļāđāļāđāļāļāļāđāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāļāļ°āļĨāļāļāļāļ
āļŦāļĄāđāļāđāļāļĨāļāļāļĢāļ°āļāļēāļĒāļāļģāļĨāļąāļāļāļĨāļēāļĒāđāļāđāļāđāļāļāļŦāļĨāļąāļāđāļĢāļīāđāļĄāļāđāļāļŠāļģāļŦāļĢāļąāļāļŠāļ·āđāļāļāļģāđāļāļīāļ āļāļēāļĢāļāļāļāđāļāļāļāļĩāđāđāļāđāđāļāđāļāđāļāļāļģāđāļŦāđāđāļāđāļāļāļĢāļĢāļĄāļāļēāļāļīāļŠāļģāļŦāļĢāļąāļāļāļēāļĢāļĢāļ§āļĄāļĢāļđāļāļ āļēāļ āļ§āļīāļāļĩāđāļ āđāļĨāļ°āđāļĄāđāļāļĢāļ°āļāļąāđāļāļāļēāļĢāļŠāļĢāđāļēāļāļŦāļĨāļēāļĒāļĢāļđāļāđāļāļāļ āļēāļĒāđāļāđāļŠāļāļēāļāļąāļāļĒāļāļĢāļĢāļĄāļāļĩāđāļāļĢāļąāļāļāļāļēāļāđāļāđāđāļāļĩāļĒāļāđāļŦāđāļāđāļāļĩāļĒāļ§ āļāļēāļĢāļ§āļīāļāļąāļĒāļāļģāļĨāļąāļāļāļĨāļąāļāļāļąāļāđāļāļŠāļđāđāļ§āļīāļāļĩāđāļāļāļĩāđāļĒāļēāļ§āļāļķāđāļ āļāļ§āļēāļĄāļĨāļ°āđāļāļĩāļĒāļāļāļĩāđāļŠāļđāļāļāļķāđāļ āđāļĨāļ°āļāļ§āļēāļĄāļŠāļāđāļāļāļĩāđāļĄāļĩāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļĄāļēāļāļāļķāđāļāđāļāļāļēāļĢāļāļ§āļāļāļļāļĄāļāđāļāļāļļāļāļāļģāļĨāļąāļāļŠāļāļāļāļāļāđāļāđāļāđāļāļāļģāļāļ§āļāļĄāļēāļ āļāļēāļāļŦāļ§āļąāļāļāļēāļĢāļāļĢāļĢāļāļāļāļąāļāļĢāļ°āļŦāļ§āđāļēāļāđāļĄāđāļāļĨāļ āļēāļĐāļēāđāļĨāļ°āļāļēāļĢāļĄāļāļāđāļŦāđāļ āđāļāļĒāļāļĩāđāļŠāļđāļāļĢāļāļēāļĢāļāļĢāļąāļāļāļāļēāļāđāļĨāļ°āđāļāļĢāļāļŠāļĢāđāļēāļāļāļ·āđāļāļāļēāļāļāļāļ Transformer āļāļĩāđāļāļĨāđāļēāļĒāļāļąāļāđāļŦāđāļāļĢāļīāļāļēāļĢāļāļąāđāļāļŠāļāļāļāļĒāđāļēāļ āļāđāļ§āļĒāđāļĢāđāļāļāļ§āļēāļĄāļāđāļēāļ§āļŦāļāđāļēāđāļāđāļĄāđāļāļĨāđāļĨāļāđāļĨāļ°āļ§āļīāļāļĩāđāļāđāļāļīāļāđāļāđāļāļāļ
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
Diffusion Transformers (DiTs) āļŠāļĨāļąāļ Convolutional U-Net āļāļĩāđāđāļāđāļāļŦāļąāļ§āđāļāļŠāļģāļāļąāļāļāļāļāļāļąāļ§āļŠāļĢāđāļēāļāļ āļēāļāđāļĨāļ°āļ§āļīāļāļĩāđāļāļŠāļģāļŦāļĢāļąāļāđāļāļāļŦāļĨāļąāļāļāļāļ Transformer āļŠāļāļēāļāļąāļāļĒāļāļĢāļĢāļĄāļāļĩāđāļāļąāļāđāļāļĨāļ·āđāļāļāļĢāļ°āļāļāļāļąāđāļāļāļģ āđāļāđāļ Stable Diffusion 3 āđāļĨāļ° OpenAI āļāļāļ Sora āđāļĨāļ°āļāļ°āļāļĢāļąāļāļāļāļēāļāđāļāđāļāļĒāđāļēāļāļāđāļēāļāļķāđāļāđāļĄāļ·āđāļāļāļļāļāđāļāļīāđāļĄāļāļēāļĢāļāļĢāļ°āļĄāļ§āļĨāļāļĨ
DiT āļāļ°āđāļāđāļēāļĄāļēāđāļāļāļāļĩāđ U-Net āļāļķāđāļāđāļāđāļāđāļāļĢāļ·āļāļāđāļēāļĒāđāļāļāļŦāļĄāļļāļāļ§āļāļāļĩāđāļāļģāļāļēāļĢāļĨāļāļŠāļąāļāļāļēāļāļĢāļāļāļ§āļāļāđāļ§āļĒāđāļāļāļŦāļĨāļąāļāļāļāļ Transformer
āļĢāļđāļāļ āļēāļāđāļāļāļāļ°āļāļđāļāđāļāđāļāļāļāļāđāļāđāļāđāļāļāļāđāđāļĨāđāļāđ āđāļĨāļ°āđāļāđāļĨāļ°āđāļāļāļāđāļāļ°āļāļĨāļēāļĒāđāļāđāļāđāļāđāļāđāļ āļāļĨāđāļēāļĒāļāļĨāļķāļāļāļąāļāļāļģāđāļāđāļāļāļāļģāļĨāļāļāļ āļēāļĐāļē
āļāļļāļāļ āļēāļāļāļāļ DiT āļāļ°āļāļĢāļąāļāļāļĢāļļāļāļāđāļ§āļĒāļ§āļīāļāļĩāļāļĩāđāļŠāļ°āļāļēāļāđāļĨāļ°āļāļēāļāđāļāļēāđāļāđ āđāļĄāļ·āđāļāļāļļāļāđāļāļīāđāļĄāļāļēāļĢāļāļĢāļ°āļĄāļ§āļĨāļāļĨāđāļĄāđāļāļĨāđāļĨāļ°āđāļāđāđāļāļāļāđāļāļĩāđāđāļĨāđāļāļĨāļ āļāļēāļĄāļāļāļŦāļĄāļēāļĒāļāļēāļĢāļāļĢāļąāļāļāļāļēāļ
DiT āđāļāđāļāļēāļĢāļāļĢāļąāļāđāļĨāđāļĒāļāļĢāđāļāļēāļĢāļāļģāđāļŦāđāđāļāđāļāļĄāļēāļāļĢāļāļēāļāđāļāļ·āđāļāļāļēāļāļāļēāļĢāļāđāļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđāļĄāļēāļāļĢāļēāļŠāđāļ§āļāđāļĨāļ°āļāļēāļĢāđāļāļĨāļĩāđāļĒāļāđāļāļĨāļāļŠāļģāļŦāļĢāļąāļāđāļĨāđāļĒāļāļĢāđāļāļēāļĢāļāļģāđāļŦāđāđāļāđāļāļĄāļēāļāļĢāļāļēāļāļāļēāļāļŠāļąāļāļāļēāļāļāļēāļĢāļāļĢāļąāļāļŠāļ āļēāļ
adaLN-zero āđāļĢāļīāđāļĄāļāđāļāļāļēāļĢāļĄāļāļāļđāđāļĨāļ āļāļąāļāļāļąāđāļāđāļāđāļĨāļ°āļāļĨāđāļāļāļāļ°āļāļģāļŦāļāđāļēāļāļĩāđāđāļāđāļāļāļąāļ§āļāļāđāļāļāļąāđāļāļāđāļ āļāļķāđāļāļāļ°āļāļģāđāļŦāđāļāļēāļĢāļāļķāļāļāļāļĢāļĄāļĄāļĩāļāļ§āļēāļĄāđāļŠāļāļĩāļĒāļĢāđāļĨāļ°āļāļĢāļąāļāļāļĢāļļāļ
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āđāļāļĢāļ·āļāļāđāļēāļĒāļŦāļĄāđāļāđāļāļĨāļāđāļāļīāļāļāļ·āđāļāļāļĩāđ
āļ§āļīāļāļ§āļĨāđāļāđāļ