āļ„āļđāđˆāļĄāļ·āļ­ AI āđāļšāļšāđ€āļŦāđ‡āļ™āļ āļēāļž

āļŦāļĄāđ‰āļ­āđāļ›āļĨāļ‡āļāļĢāļ°āļˆāļēāļĒ

Diffusion Transformers (DiTs) āļŠāļĨāļąāļš Convolutional U-Net āļ—āļĩāđˆāđ€āļ›āđ‡āļ™āļŦāļąāļ§āđƒāļˆāļŠāļģāļ„āļąāļāļ‚āļ­āļ‡āļ•āļąāļ§āļŠāļĢāđ‰āļēāļ‡āļ āļēāļžāđāļĨāļ°āļ§āļīāļ”āļĩāđ‚āļ­āļŠāļģāļŦāļĢāļąāļšāđāļāļ™āļŦāļĨāļąāļāļ‚āļ­āļ‡ Transformer

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļŦāļĄāđ‰āļ­āđāļ›āļĨāļ‡āđ„āļŸāļŸāđ‰āļēāđāļšāļšāļāļĢāļ°āļˆāļēāļĒ
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāļ™āļĩāđ‰āļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļĢāļ°āļšāļšāļŠāļąāđ‰āļ™āļ™āļģ āđ€āļŠāđˆāļ™ Stable Diffusion 3 āđāļĨāļ° Sora āļ‚āļ­āļ‡ OpenAI āđāļĨāļ°āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”āđ„āļ”āđ‰āļ­āļĒāđˆāļēāļ‡āļ™āđˆāļēāļ—āļķāđˆāļ‡āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āđ€āļžāļīāđˆāļĄāļāļēāļĢāļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨ

āđ€āļˆāļēāļ°āļĨāļķāļ

āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļāļēāļĢāđāļžāļĢāđˆāļāļĢāļ°āļˆāļēāļĒāļˆāļ°āļŠāļĢāđ‰āļēāļ‡āļ āļēāļžāđ‚āļ”āļĒāđ€āļĢāļīāđˆāļĄāļˆāļēāļāļŠāļąāļāļāļēāļ“āļĢāļšāļāļ§āļ™āļšāļĢāļīāļŠāļļāļ—āļ˜āļīāđŒ āđāļĨāļ°āļ„āđˆāļ­āļĒāđ† āļĨāļ”āļŠāļąāļāļāļēāļ“āļĢāļšāļāļ§āļ™āđƒāļŦāđ‰āđ€āļ›āđ‡āļ™āļ āļēāļžāļ—āļĩāđˆāđ€āļŠāļ·āđˆāļ­āļĄāđ‚āļĒāļ‡āļāļąāļ™ āđ€āļ›āđ‡āļ™āđ€āļ§āļĨāļēāļŦāļĨāļēāļĒāļ›āļĩāļ—āļĩāđˆāđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļ—āļĩāđˆāļ—āļģāļāļēāļĢāļĨāļ”āļŠāļąāļāļāļēāļ“āļĢāļšāļāļ§āļ™āļ™āļąāđ‰āļ™āđ€āļ›āđ‡āļ™ U-Net āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāđāļšāļšāļšāļīāļ”āđ€āļšāļĩāđ‰āļĒāļ§ Diffusion Transformer āđ€āļ›āļīāļ”āļ•āļąāļ§āđ‚āļ”āļĒ Peebles āđāļĨāļ° Xie āđƒāļ™āļ›āļĩ 2022 āđāļ—āļ™āļ—āļĩāđˆ U-Net āļ”āđ‰āļ§āļĒ Transformer āļ‚āļąāđ‰āļ™āđāļĢāļāļĢāļđāļ›āļ āļēāļžāļˆāļ°āļ–āļđāļāļšāļĩāļšāļ­āļąāļ”āļĨāļ‡āđƒāļ™āļžāļ·āđ‰āļ™āļ—āļĩāđˆāđāļāļ‡ āđ‚āļ”āļĒāđāļšāđˆāļ‡āļ­āļ­āļāđ€āļ›āđ‡āļ™āđāļžāļ•āļŠāđŒāđ€āļĨāđ‡āļāđ† āđāļĨāļ°āđāļ•āđˆāļĨāļ°āđāļžāļ•āļŠāđŒāļˆāļ°āļāļĨāļēāļĒāđ€āļ›āđ‡āļ™āđ‚āļ—āđ€āļ„āđ‡āļ™ āđ€āļŦāļĄāļ·āļ­āļ™āļāļąāļšāļ„āļģāđƒāļ™āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ āļēāļĐāļē āļˆāļēāļāļ™āļąāđ‰āļ™ Transformer āļˆāļ°āļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāđ‚āļ—āđ€āļ„āđ‡āļ™āđ€āļŦāļĨāđˆāļēāļ™āļĩāđ‰āļ”āđ‰āļ§āļĒāļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāđƒāļ™āļ•āļąāļ§āđ€āļ­āļ‡āđƒāļ™āđāļ•āđˆāļĨāļ°āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļāļēāļĢāļĨāļ”āļŠāļąāļāļāļēāļ“āļĢāļšāļāļ§āļ™ āļāļēāļĢāļ„āđ‰āļ™āļžāļšāļ—āļĩāđˆāļŠāļģāļ„āļąāļāļ„āļ·āļ­āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļ‚āļ­āļ‡ DiT āļ”āļĩāļ‚āļķāđ‰āļ™āļ­āļĒāđˆāļēāļ‡āļ„āļēāļ”āļāļēāļĢāļ“āđŒāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āđ€āļžāļīāđˆāļĄāļ‚āļ™āļēāļ”āđ‚āļĄāđ€āļ”āļĨāđāļĨāļ°āļĨāļ”āļ‚āļ™āļēāļ”āđāļžāļ•āļŠāđŒ āļ•āļēāļĄāļāļŽāļŦāļĄāļēāļĒāļāļēāļĢāļ›āļĢāļąāļšāļ‚āļ™āļēāļ”āļ—āļĩāđˆāļŠāļ°āļ­āļēāļ” āļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ™āļāļēāļĢāļ›āļĢāļąāļšāļ‚āļ™āļēāļ”āļ™āļĩāđ‰āļ„āļ·āļ­āļŠāļēāđ€āļŦāļ•āļļāļ—āļĩāđˆāļĢāļ°āļšāļšāđāļ›āļĨāļ‡āļ‚āđ‰āļ­āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļ§āļīāļ”āļĩāđ‚āļ­āđāļĨāļ°āļĢāļ°āļšāļšāđāļ›āļĨāļ‡āļ‚āđ‰āļ­āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļĢāļđāļ›āļ āļēāļžāļĢāļ°āļ”āļąāļšāđ„āļŪāđ€āļ­āļ™āļ”āđŒāđ„āļ”āđ‰āļĒāđ‰āļēāļĒāđ„āļ›āļĒāļąāļ‡āđāļšāđ‡āļ„āđ‚āļšāļ™āļ‚āļ­āļ‡ Transformer āđ€āļ›āđ‡āļ™āļŠāđˆāļ§āļ™āđƒāļŦāļāđˆ

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

Sora āļ‚āļ­āļ‡ OpenAI āđƒāļŠāđ‰āđāļāļ™āļŦāļĨāļąāļāļ‚āļ­āļ‡ Transformer āļšāļ™āđāļžāļ•āļŠāđŒāļāļēāļĨāļ­āļ§āļāļēāļĻāđ€āļžāļ·āđˆāļ­āļŠāļĢāđ‰āļēāļ‡āļ§āļīāļ”āļĩāđ‚āļ­āļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāļŠāļđāļ‡āļ„āļ§āļēāļĄāļĒāļēāļ§āļŦāļ™āļķāđˆāļ‡āļ™āļēāļ—āļĩāļˆāļēāļāļ‚āđ‰āļ­āļ„āļ§āļēāļĄāđāļˆāđ‰āļ‡

Stable Diffusion 3 āđƒāļŠāđ‰ Multimodal Diffusion Transformer (MMDiT) āđ€āļžāļ·āđˆāļ­āļˆāļąāļ”āđāļ™āļ§āļĢāļđāļ›āļ āļēāļžāļ—āļĩāđˆāļŠāļĢāđ‰āļēāļ‡āļ‚āļķāđ‰āļ™āļ”āđ‰āļ§āļĒāļ„āļģāļ­āļ˜āļīāļšāļēāļĒāļ‚āđ‰āļ­āļ„āļ§āļēāļĄāđ‚āļ”āļĒāļĨāļ°āđ€āļ­āļĩāļĒāļ”āđ„āļ”āđ‰āļ”āļĩāļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™

āļ™āļąāļāļ§āļīāļˆāļąāļĒāļ›āļĢāļąāļšāļ‚āļ™āļēāļ” DiT āđ€āļ›āđ‡āļ™āļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāļ™āļąāļšāļžāļąāļ™āļĨāđ‰āļēāļ™āđāļĨāļ°āļŠāļąāļ‡āđ€āļāļ•āļ„āļļāļ“āļ āļēāļžāļ‚āļ­āļ‡āļ āļēāļžāļ—āļĩāđˆāļ”āļĩāļ‚āļķāđ‰āļ™āļ­āļĒāđˆāļēāļ‡āļ„āļēāļ”āļāļēāļĢāļ“āđŒāđ„āļ”āđ‰ āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āđāļ™āļ§āļ—āļēāļ‡āđƒāļ™āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāđ€āļĢāļ·āđˆāļ­āļ‡āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“āļāļēāļĢāļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨ

āļŠāļ•āļđāļ”āļīāđ‚āļ­āđƒāļŠāđ‰āđ‚āļĄāđ€āļ”āļĨāļ—āļĩāđˆāđƒāļŠāđ‰ DiT āđ€āļžāļ·āđˆāļ­āļ‚āļĒāļēāļĒāļ„āļĨāļīāļ›āļŠāļąāđ‰āļ™ āđ‚āļ”āļĒāļ–āļ·āļ­āļ§āđˆāļēāđ€āļŸāļĢāļĄāļ§āļīāļ”āļĩāđ‚āļ­āļžāļīāđ€āļĻāļĐāđ€āļ›āđ‡āļ™āđ‚āļ—āđ€āļ„āđ‡āļ™āđāļžāļ•āļŠāđŒāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāļˆāļ°āļĨāļ”āļ—āļ­āļ™

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļŦāļĄāđ‰āļ­āđāļ›āļĨāļ‡āđ„āļŸāļŸāđ‰āļēāđāļšāļšāļāļĢāļ°āļˆāļēāļĒ

āļŦāļĄāđ‰āļ­āđāļ›āļĨāļ‡āļāļĢāļ°āļˆāļēāļĒāļāļģāļĨāļąāļ‡āļāļĨāļēāļĒāđ€āļ›āđ‡āļ™āđāļāļ™āļŦāļĨāļąāļāđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŠāļģāļŦāļĢāļąāļšāļŠāļ·āđˆāļ­āļāļģāđ€āļ™āļīāļ” āļāļēāļĢāļ­āļ­āļāđāļšāļšāļ—āļĩāđˆāđƒāļŠāđ‰āđ‚āļ—āđ€āļ„āđ‡āļ™āļ—āļģāđƒāļŦāđ‰āđ€āļ›āđ‡āļ™āļ˜āļĢāļĢāļĄāļŠāļēāļ•āļīāļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļĢāļ§āļĄāļĢāļđāļ›āļ āļēāļž āļ§āļīāļ”āļĩāđ‚āļ­ āđāļĨāļ°āđāļĄāđ‰āļāļĢāļ°āļ—āļąāđˆāļ‡āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āļŦāļĨāļēāļĒāļĢāļđāļ›āđāļšāļšāļ āļēāļĒāđƒāļ•āđ‰āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāļ—āļĩāđˆāļ›āļĢāļąāļšāļ‚āļ™āļēāļ”āđ„āļ”āđ‰āđ€āļžāļĩāļĒāļ‡āđāļŦāđˆāļ‡āđ€āļ”āļĩāļĒāļ§ āļāļēāļĢāļ§āļīāļˆāļąāļĒāļāļģāļĨāļąāļ‡āļœāļĨāļąāļāļ”āļąāļ™āđ„āļ›āļŠāļđāđˆāļ§āļīāļ”āļĩāđ‚āļ­āļ—āļĩāđˆāļĒāļēāļ§āļ‚āļķāđ‰āļ™ āļ„āļ§āļēāļĄāļĨāļ°āđ€āļ­āļĩāļĒāļ”āļ—āļĩāđˆāļŠāļđāļ‡āļ‚āļķāđ‰āļ™ āđāļĨāļ°āļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāļ—āļĩāđˆāļĄāļĩāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļĄāļēāļāļ‚āļķāđ‰āļ™āđƒāļ™āļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļ•āđ‰āļ™āļ—āļļāļ™āļāļģāļĨāļąāļ‡āļŠāļ­āļ‡āļ‚āļ­āļ‡āđ‚āļ—āđ€āļ„āđ‡āļ™āļˆāļģāļ™āļ§āļ™āļĄāļēāļ āļ„āļēāļ”āļŦāļ§āļąāļ‡āļāļēāļĢāļšāļĢāļĢāļˆāļšāļāļąāļ™āļĢāļ°āļŦāļ§āđˆāļēāļ‡āđ‚āļĄāđ€āļ”āļĨāļ āļēāļĐāļēāđāļĨāļ°āļāļēāļĢāļĄāļ­āļ‡āđ€āļŦāđ‡āļ™ āđ‚āļ”āļĒāļ—āļĩāđˆāļŠāļđāļ•āļĢāļāļēāļĢāļ›āļĢāļąāļšāļ‚āļ™āļēāļ”āđāļĨāļ°āđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡āļžāļ·āđ‰āļ™āļāļēāļ™āļ‚āļ­āļ‡ Transformer āļ—āļĩāđˆāļ„āļĨāđ‰āļēāļĒāļāļąāļ™āđƒāļŦāđ‰āļšāļĢāļīāļāļēāļĢāļ—āļąāđ‰āļ‡āļŠāļ­āļ‡āļ­āļĒāđˆāļēāļ‡ āļŠāđˆāļ§āļĒāđ€āļĢāđˆāļ‡āļ„āļ§āļēāļĄāļāđ‰āļēāļ§āļŦāļ™āđ‰āļēāđƒāļ™āđ‚āļĄāđ€āļ”āļĨāđ‚āļĨāļāđāļĨāļ°āļ§āļīāļ”āļĩāđ‚āļ­āđ€āļŠāļīāļ‡āđ‚āļ•āđ‰āļ•āļ­āļš

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ„āļ§āļēāļĄāđ€āļĢāđ‡āļ§āđāļĨāļ°āļ‚āļ™āļēāļ”. Visual AI āļŠāļēāļĄāļēāļĢāļ–āļ—āļģāđƒāļŦāđ‰āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļš āļāļēāļĢāļ•āļĢāļ§āļˆāļˆāļąāļš āđāļĨāļ°āļāļēāļĢāđāļ—āđ‡āļāđ€āļ›āđ‡āļ™āļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāđƒāļ™āļ‚āļ™āļēāļ”āļ•āđˆāļēāļ‡āđ†
  • āļŠāļĢāđ‰āļēāļ‡āļ—āļēāļ‡āđ€āļĨāļ·āļ­āļ. āļ—āļĩāļĄāļŠāļĢāđ‰āļēāļ‡āļŠāļĢāļĢāļ„āđŒāļŠāļēāļĄāļēāļĢāļ–āļŠāļĢāđ‰āļēāļ‡āļ•āđ‰āļ™āđāļšāļšāđāļ™āļ§āļ„āļīāļ”āđ„āļ”āđ‰āļĢāļ§āļ”āđ€āļĢāđ‡āļ§āļ‚āļķāđ‰āļ™āđ‚āļ”āļĒāļ•āđ‰āļ­āļ‡āļĄāļĩāļāļēāļĢāđāļāđ‰āđ„āļ‚āļ”āđ‰āļ§āļĒāļ•āļ™āđ€āļ­āļ‡āļ™āđ‰āļ­āļĒāļĨāļ‡
  • āļ—āļĩāļĄāļ‡āļēāļ™āđāļĨāļ°āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļāļēāļĢāļ—āļģāļ‡āļēāļ™. āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āđƒāļŠāđ‰āļŠāļąāļāļāļēāļ“āļ āļēāļžāđāļĨāļ°āļ§āļīāļ”āļĩāđ‚āļ­āļ—āļĩāđˆāļāđˆāļ­āļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāđ„āļ”āđ‰āļĒāļēāļ

āļĢāļ°āļ§āļąāļ‡

  • āļŠāļīāļ—āļ˜āļīāđŒāđāļĨāļ°āļ„āļ§āļēāļĄāļĒāļīāļ™āļĒāļ­āļĄāđƒāļ™āļĢāļđāļ›āļ āļēāļžāļ­āļēāļˆāļāļĨāļēāļĒāđ€āļ›āđ‡āļ™āļ„āļ§āļēāļĄāđ€āļŠāļĩāđˆāļĒāļ‡āļ—āļēāļ‡āļāļŽāļŦāļĄāļēāļĒāđ„āļ”āđ‰āļŦāļēāļāđāļŦāļĨāđˆāļ‡āļ—āļĩāđˆāļĄāļēāđ„āļĄāđˆāļŠāļąāļ”āđ€āļˆāļ™
  • āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļ‚āļ­āļ‡āđ‚āļĄāđ€āļ”āļĨāļ­āļēāļˆāđāļ•āļāļ•āđˆāļēāļ‡āļāļąāļ™āđ„āļ›āļ•āļēāļĄāļŠāļ āļēāļžāđāļŠāļ‡ āļ‚āđ‰āļ­āļĄāļđāļĨāļ›āļĢāļ°āļŠāļēāļāļĢ āđāļĨāļ°āļŠāļ āļēāļžāđāļ§āļ”āļĨāđ‰āļ­āļĄ
  • āļœāļĨāļšāļ§āļāļĨāļ§āļ‡āļ­āļēāļˆāđ„āļĄāđˆāļŠāļąāļ‡āđ€āļāļ•āđ€āļŦāđ‡āļ™āđ€āļ§āđ‰āļ™āđāļ•āđˆāļˆāļ°āļĄāļĩāļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļāļ“āļ‘āđŒāļ„āļ§āļēāļĄāđ€āļŠāļ·āđˆāļ­āļĄāļąāđˆāļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļāļ“āļ‘āđŒāļāļēāļĢāļĒāļ­āļĄāļĢāļąāļšāļŠāļģāļŦāļĢāļąāļšāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģ āļāļēāļĢāđ€āļĢāļĩāļĒāļāļ„āļ·āļ™ āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”
  2. āļ—āļ”āļŠāļ­āļšāļ”āđ‰āļ§āļĒāļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļĩāđˆāļ•āļĢāļ‡āļāļąāļšāđ€āļ‡āļ·āđˆāļ­āļ™āđ„āļ‚āļāļēāļĢāļœāļĨāļīāļ•āļˆāļĢāļīāļ‡
  3. āđ€āļžāļīāđˆāļĄāļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ‚āļ”āļĒāđ€āļˆāđ‰āļēāļŦāļ™āđ‰āļēāļ—āļĩāđˆāļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļ„āļēāļ”āļāļēāļĢāļ“āđŒāļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāļĄāļąāđˆāļ™āđƒāļˆāļ•āđˆāļģāļŦāļĢāļ·āļ­āļĄāļĩāļœāļĨāļāļĢāļ°āļ—āļšāļŠāļđāļ‡
  4. āļ•āļīāļ”āļ•āļēāļĄāļāļēāļĢāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ•āļąāļ§āļ‚āļ­āļ‡āđ‚āļĄāđ€āļ”āļĨāđāļĨāļ°āļ•āļĢāļ§āļˆāļŠāļ­āļšāļ„āļ§āļēāļĄāļ–āļđāļāļ•āđ‰āļ­āļ‡āļ­āļĩāļāļ„āļĢāļąāđ‰āļ‡āļŦāļĨāļąāļ‡āļˆāļēāļāļāļēāļĢāđ€āļ›āļĨāļĩāđˆāļĒāļ™āđāļ›āļĨāļ‡āļāļĨāđ‰āļ­āļ‡āļŦāļĢāļ·āļ­āļŠāļļāļ”āļ‚āđ‰āļ­āļĄāļđāļĨ

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Diffusion Transformers quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļŦāļĄāđ‰āļ­āđāļ›āļĨāļ‡āđ„āļŸāļŸāđ‰āļēāđāļšāļšāļāļĢāļ°āļˆāļēāļĒāļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

Diffusion Transformers (DiTs) āļŠāļĨāļąāļš Convolutional U-Net āļ—āļĩāđˆāđ€āļ›āđ‡āļ™āļŦāļąāļ§āđƒāļˆāļŠāļģāļ„āļąāļāļ‚āļ­āļ‡āļ•āļąāļ§āļŠāļĢāđ‰āļēāļ‡āļ āļēāļžāđāļĨāļ°āļ§āļīāļ”āļĩāđ‚āļ­āļŠāļģāļŦāļĢāļąāļšāđāļāļ™āļŦāļĨāļąāļāļ‚āļ­āļ‡ Transformer āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāļ™āļĩāđ‰āļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļĢāļ°āļšāļšāļŠāļąāđ‰āļ™āļ™āļģ āđ€āļŠāđˆāļ™ Stable Diffusion 3 āđāļĨāļ° OpenAI āļ‚āļ­āļ‡ Sora āđāļĨāļ°āļˆāļ°āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”āđ„āļ”āđ‰āļ­āļĒāđˆāļēāļ‡āļ™āđˆāļēāļ—āļķāđˆāļ‡āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āđ€āļžāļīāđˆāļĄāļāļēāļĢāļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨ

Diffusion Transformer āđāļ—āļ™āļ—āļĩāđˆāļŠāđˆāļ§āļ™āļ›āļĢāļ°āļāļ­āļšāđƒāļ”āđ€āļĄāļ·āđˆāļ­āđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāļāļąāļšāļĢāļļāđˆāļ™ Diffusion āđāļšāļšāđ€āļ”āļīāļĄ

DiT āļˆāļ°āđ€āļ‚āđ‰āļēāļĄāļēāđāļ—āļ™āļ—āļĩāđˆ U-Net āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāđāļšāļšāļŦāļĄāļļāļ™āļ§āļ™āļ—āļĩāđˆāļ—āļģāļāļēāļĢāļĨāļ”āļŠāļąāļāļāļēāļ“āļĢāļšāļāļ§āļ™āļ”āđ‰āļ§āļĒāđāļāļ™āļŦāļĨāļąāļāļ‚āļ­āļ‡ Transformer

DiT āđ€āļ›āļĨāļĩāđˆāļĒāļ™āļĢāļđāļ›āļ āļēāļžāđ€āļ›āđ‡āļ™āļŠāļīāđˆāļ‡āļ—āļĩāđˆ Transformer āļŠāļēāļĄāļēāļĢāļ–āļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāđ„āļ”āđ‰āļ­āļĒāđˆāļēāļ‡āđ„āļĢ

āļĢāļđāļ›āļ āļēāļžāđāļāļ‡āļˆāļ°āļ–āļđāļāđāļšāđˆāļ‡āļ­āļ­āļāđ€āļ›āđ‡āļ™āđāļžāļ•āļŠāđŒāđ€āļĨāđ‡āļāđ† āđāļĨāļ°āđāļ•āđˆāļĨāļ°āđāļžāļ•āļŠāđŒāļˆāļ°āļāļĨāļēāļĒāđ€āļ›āđ‡āļ™āđ‚āļ—āđ€āļ„āđ‡āļ™ āļ„āļĨāđ‰āļēāļĒāļ„āļĨāļķāļ‡āļāļąāļšāļ„āļģāđƒāļ™āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ āļēāļĐāļē

āđ€āļ­āļāļŠāļēāļĢ DiT āļ•āđ‰āļ™āļ‰āļšāļąāļšāļ„āđ‰āļ™āļžāļšāļ­āļ°āđ„āļĢāđ€āļāļĩāđˆāļĒāļ§āļāļąāļšāļāļēāļĢāļ›āļĢāļąāļšāļ‚āļ™āļēāļ”

āļ„āļļāļ“āļ āļēāļžāļ‚āļ­āļ‡ DiT āļˆāļ°āļ›āļĢāļąāļšāļ›āļĢāļļāļ‡āļ”āđ‰āļ§āļĒāļ§āļīāļ˜āļĩāļ—āļĩāđˆāļŠāļ°āļ­āļēāļ”āđāļĨāļ°āļ„āļēāļ”āđ€āļ”āļēāđ„āļ”āđ‰ āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āđ€āļžāļīāđˆāļĄāļāļēāļĢāļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāđ‚āļĄāđ€āļ”āļĨāđāļĨāļ°āđƒāļŠāđ‰āđāļžāļ•āļŠāđŒāļ—āļĩāđˆāđ€āļĨāđ‡āļāļĨāļ‡ āļ•āļēāļĄāļāļŽāļŦāļĄāļēāļĒāļāļēāļĢāļ›āļĢāļąāļšāļ‚āļ™āļēāļ”

āđ‚āļ”āļĒāļ—āļąāđˆāļ§āđ„āļ›āđāļĨāđ‰āļ§ DiT āļˆāļ°āđƒāļŠāđˆāđ€āļ‡āļ·āđˆāļ­āļ™āđ„āļ‚āđ€āļŠāđˆāļ™āļāļēāļĢāļšāļ­āļāđ€āļ§āļĨāļēāđāļĨāļ°āļ‚āđ‰āļ­āļ„āļ§āļēāļĄāđāļˆāđ‰āļ‡āļ­āļĒāđˆāļēāļ‡āđ„āļĢ

DiT āđƒāļŠāđ‰āļāļēāļĢāļ›āļĢāļąāļšāđ€āļĨāđ€āļĒāļ­āļĢāđŒāļāļēāļĢāļ—āļģāđƒāļŦāđ‰āđ€āļ›āđ‡āļ™āļĄāļēāļ•āļĢāļāļēāļ™āđ€āļžāļ·āđˆāļ­āļ„āļēāļ”āļāļēāļĢāļ“āđŒāļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāļĄāļēāļ•āļĢāļēāļŠāđˆāļ§āļ™āđāļĨāļ°āļāļēāļĢāđ€āļ›āļĨāļĩāđˆāļĒāļ™āđāļ›āļĨāļ‡āļŠāļģāļŦāļĢāļąāļšāđ€āļĨāđ€āļĒāļ­āļĢāđŒāļāļēāļĢāļ—āļģāđƒāļŦāđ‰āđ€āļ›āđ‡āļ™āļĄāļēāļ•āļĢāļāļēāļ™āļˆāļēāļāļŠāļąāļāļāļēāļ“āļāļēāļĢāļ›āļĢāļąāļšāļŠāļ āļēāļž

āļāļēāļĢāđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™ 'adaLN-zero' āļŠāļģāđ€āļĢāđ‡āļˆāļ­āļ°āđ„āļĢ

adaLN-zero āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļāļēāļĢāļĄāļ­āļ”āļđāđ€āļĨāļ• āļ”āļąāļ‡āļ™āļąāđ‰āļ™āđāļ•āđˆāļĨāļ°āļšāļĨāđ‡āļ­āļāļˆāļ°āļ—āļģāļŦāļ™āđ‰āļēāļ—āļĩāđˆāđ€āļ›āđ‡āļ™āļ•āļąāļ§āļ•āļ™āđƒāļ™āļ‚āļąāđ‰āļ™āļ•āđ‰āļ™ āļ‹āļķāđˆāļ‡āļˆāļ°āļ—āļģāđƒāļŦāđ‰āļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāļĄāļĩāļ„āļ§āļēāļĄāđ€āļŠāļ–āļĩāļĒāļĢāđāļĨāļ°āļ›āļĢāļąāļšāļ›āļĢāļļāļ‡

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļŦāļĄāđ‰āļ­āđāļ›āļĨāļ‡āđ€āļŠāļīāļ‡āļžāļ·āđ‰āļ™āļ—āļĩāđˆ

āļ§āļīāļŠāļ§āļĨāđ€āļ­āđ„āļ­

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →