āļ„āļđāđˆāļĄāļ·āļ­ AI āđāļšāļšāđ€āļŦāđ‡āļ™āļ āļēāļž

āļ”āļĢāļĩāļĄāļšāļđāļ˜

DreamBooth fine-tunes a text-to-image diffusion model to associate a rare identifier with a particular subject, using subject images and a class-specific prior-preservation objective.

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~1 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 1 āļ™āļēāļ—āļĩ
  1. āđ€āļˆāļēāļ°āļĨāļķāļ
  2. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  3. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļ”āļĢāļĩāļĄāļšāļđāļ˜
  4. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  5. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  6. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āđ€āļˆāļēāļ°āļĨāļķāļ

The DreamBooth paper introduces subject-driven generation from a few images. It fine-tunes a pretrained text-to-image model with a unique identifier and class noun, and adds a prior-preservation loss using class-specific generated examples. The method can personalize subjects but can also overfit or alter the class distribution. Image counts and outcomes depend on the subject, model and training configuration described in the study.

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

Use a rare identifier token in prompts describing the subject.

Include class-specific examples to reduce drift from the model’s broader class prior.

Compare personalized outputs across held-out poses, scenes and prompts.

LoRA can represent low-rank parameter updates in a fine-tuning setup, but it is a separate adaptation technique.

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļ”āļĢāļĩāļĄāļšāļđāļ˜

Compare fidelity, diversity and class drift on held-out prompts when personalizing a model. Report data size, base checkpoint and adaptation method. The cited papers do not establish that fine-tuning is safe for every identity or that one parameter-efficient recipe is best for all subjects.

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ„āļ§āļēāļĄāđ€āļĢāđ‡āļ§āđāļĨāļ°āļ‚āļ™āļēāļ”. Visual AI āļŠāļēāļĄāļēāļĢāļ–āļ—āļģāđƒāļŦāđ‰āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļš āļāļēāļĢāļ•āļĢāļ§āļˆāļˆāļąāļš āđāļĨāļ°āļāļēāļĢāđāļ—āđ‡āļāđ€āļ›āđ‡āļ™āļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāđƒāļ™āļ‚āļ™āļēāļ”āļ•āđˆāļēāļ‡āđ†
  • āļŠāļĢāđ‰āļēāļ‡āļ—āļēāļ‡āđ€āļĨāļ·āļ­āļ. āļ—āļĩāļĄāļŠāļĢāđ‰āļēāļ‡āļŠāļĢāļĢāļ„āđŒāļŠāļēāļĄāļēāļĢāļ–āļŠāļĢāđ‰āļēāļ‡āļ•āđ‰āļ™āđāļšāļšāđāļ™āļ§āļ„āļīāļ”āđ„āļ”āđ‰āļĢāļ§āļ”āđ€āļĢāđ‡āļ§āļ‚āļķāđ‰āļ™āđ‚āļ”āļĒāļ•āđ‰āļ­āļ‡āļĄāļĩāļāļēāļĢāđāļāđ‰āđ„āļ‚āļ”āđ‰āļ§āļĒāļ•āļ™āđ€āļ­āļ‡āļ™āđ‰āļ­āļĒāļĨāļ‡
  • āļ—āļĩāļĄāļ‡āļēāļ™āđāļĨāļ°āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļāļēāļĢāļ—āļģāļ‡āļēāļ™. āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āđƒāļŠāđ‰āļŠāļąāļāļāļēāļ“āļ āļēāļžāđāļĨāļ°āļ§āļīāļ”āļĩāđ‚āļ­āļ—āļĩāđˆāļāđˆāļ­āļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāđ„āļ”āđ‰āļĒāļēāļ

āļĢāļ°āļ§āļąāļ‡

  • āļŠāļīāļ—āļ˜āļīāđŒāđāļĨāļ°āļ„āļ§āļēāļĄāļĒāļīāļ™āļĒāļ­āļĄāđƒāļ™āļĢāļđāļ›āļ āļēāļžāļ­āļēāļˆāļāļĨāļēāļĒāđ€āļ›āđ‡āļ™āļ„āļ§āļēāļĄāđ€āļŠāļĩāđˆāļĒāļ‡āļ—āļēāļ‡āļāļŽāļŦāļĄāļēāļĒāđ„āļ”āđ‰āļŦāļēāļāđāļŦāļĨāđˆāļ‡āļ—āļĩāđˆāļĄāļēāđ„āļĄāđˆāļŠāļąāļ”āđ€āļˆāļ™
  • āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļ‚āļ­āļ‡āđ‚āļĄāđ€āļ”āļĨāļ­āļēāļˆāđāļ•āļāļ•āđˆāļēāļ‡āļāļąāļ™āđ„āļ›āļ•āļēāļĄāļŠāļ āļēāļžāđāļŠāļ‡ āļ‚āđ‰āļ­āļĄāļđāļĨāļ›āļĢāļ°āļŠāļēāļāļĢ āđāļĨāļ°āļŠāļ āļēāļžāđāļ§āļ”āļĨāđ‰āļ­āļĄ
  • āļœāļĨāļšāļ§āļāļĨāļ§āļ‡āļ­āļēāļˆāđ„āļĄāđˆāļŠāļąāļ‡āđ€āļāļ•āđ€āļŦāđ‡āļ™āđ€āļ§āđ‰āļ™āđāļ•āđˆāļˆāļ°āļĄāļĩāļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļāļ“āļ‘āđŒāļ„āļ§āļēāļĄāđ€āļŠāļ·āđˆāļ­āļĄāļąāđˆāļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļāļ“āļ‘āđŒāļāļēāļĢāļĒāļ­āļĄāļĢāļąāļšāļŠāļģāļŦāļĢāļąāļšāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģ āļāļēāļĢāđ€āļĢāļĩāļĒāļāļ„āļ·āļ™ āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”
  2. āļ—āļ”āļŠāļ­āļšāļ”āđ‰āļ§āļĒāļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļĩāđˆāļ•āļĢāļ‡āļāļąāļšāđ€āļ‡āļ·āđˆāļ­āļ™āđ„āļ‚āļāļēāļĢāļœāļĨāļīāļ•āļˆāļĢāļīāļ‡
  3. āđ€āļžāļīāđˆāļĄāļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ‚āļ”āļĒāđ€āļˆāđ‰āļēāļŦāļ™āđ‰āļēāļ—āļĩāđˆāļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļ„āļēāļ”āļāļēāļĢāļ“āđŒāļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāļĄāļąāđˆāļ™āđƒāļˆāļ•āđˆāļģāļŦāļĢāļ·āļ­āļĄāļĩāļœāļĨāļāļĢāļ°āļ—āļšāļŠāļđāļ‡
  4. āļ•āļīāļ”āļ•āļēāļĄāļāļēāļĢāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ•āļąāļ§āļ‚āļ­āļ‡āđ‚āļĄāđ€āļ”āļĨāđāļĨāļ°āļ•āļĢāļ§āļˆāļŠāļ­āļšāļ„āļ§āļēāļĄāļ–āļđāļāļ•āđ‰āļ­āļ‡āļ­āļĩāļāļ„āļĢāļąāđ‰āļ‡āļŦāļĨāļąāļ‡āļˆāļēāļāļāļēāļĢāđ€āļ›āļĨāļĩāđˆāļĒāļ™āđāļ›āļĨāļ‡āļāļĨāđ‰āļ­āļ‡āļŦāļĢāļ·āļ­āļŠāļļāļ”āļ‚āđ‰āļ­āļĄāļđāļĨ

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the DreamBooth quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

DreamBooth āļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

DreamBooth fine-tunes a text-to-image diffusion model to associate a rare identifier with a particular subject, using subject images and a class-specific prior-preservation objective.

DreamBooth āđāļāđ‰āđ„āļ‚āļ­āļ°āđ„āļĢāđ‚āļ”āļĒāļ—āļĩāđˆ Textual Inversion āđ„āļĄāđˆāđ„āļ”āđ‰āļ—āļģ

DreamBooth āļ›āļĢāļąāļšāļ™āđ‰āļģāļŦāļ™āļąāļāļ‚āļ­āļ‡āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļ­āļĒāđˆāļēāļ‡āļĨāļ°āđ€āļ­āļĩāļĒāļ” āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆ Textual Inversion āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđ€āļ‰āļžāļēāļ°āļāļēāļĢāļāļąāļ‡āđ€āļ—āđˆāļēāļ™āļąāđ‰āļ™

āļˆāļļāļ”āļ›āļĢāļ°āļŠāļ‡āļ„āđŒāļ‚āļ­āļ‡āļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāļāļēāļĢāđ€āļāđ‡āļšāļĢāļąāļāļĐāļēāļĨāđˆāļ§āļ‡āļŦāļ™āđ‰āļēāļ‚āļ­āļ‡ DreamBooth āļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

āļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāđ€āļāļĩāđˆāļĒāļ§āļāļąāļšāļ­āļīāļĄāđ€āļĄāļˆāļ‚āļ­āļ‡āļŠāļąāđ‰āļ™āđ€āļĢāļĩāļĒāļ™āļ—āļĩāđˆāļŠāļĢāđ‰āļēāļ‡āļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāļŠāđˆāļ§āļĒāļĒāļķāļ”āđāļ™āļ§āļ„āļīāļ”āļ—āļąāđˆāļ§āđ„āļ› āđ€āļžāļ·āđˆāļ­āđƒāļŦāđ‰āđ‚āļĄāđ€āļ”āļĨāđ„āļĄāđˆāļĨāļ·āļĄāļ§āļīāļ˜āļĩāļāļēāļĢāļ§āļēāļ”āļŠāļĄāļēāļŠāļīāļāļ„āļ™āļ­āļ·āđˆāļ™āđ† āđƒāļ™āļŠāļąāđ‰āļ™āđ€āļĢāļĩāļĒāļ™

āđ‚āļ”āļĒāļ—āļąāđˆāļ§āđ„āļ›āļŦāļąāļ§āļ‚āđ‰āļ­āļ•āđˆāļēāļ‡āđ† āļˆāļ°āļ–āļđāļāļ­āđ‰āļēāļ‡āļ­āļīāļ‡āļ­āļĒāđˆāļēāļ‡āđ„āļĢāđƒāļ™āļ‚āđ‰āļ­āļ„āļ§āļēāļĄāđāļˆāđ‰āļ‡āļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄ DreamBooth

āļ•āļąāļ§āļĢāļ°āļšāļļāļ—āļĩāđˆāļŦāļēāļĒāļēāļāļ—āļĩāđˆāđ„āļĄāđˆāļ‹āđ‰āļģāļāļąāļ™āļˆāļ°āļˆāļąāļšāļ„āļđāđˆāļāļąāļšāļ„āļģāļ™āļēāļĄāļ„āļĨāļēāļŠ āļ”āļąāļ‡āļ™āļąāđ‰āļ™āđ‚āļĄāđ€āļ”āļĨāļˆāļķāļ‡āđāļ™āļšāļĢāļēāļĒāļĨāļ°āđ€āļ­āļĩāļĒāļ”āđƒāļŦāļĄāđˆāđ€āļ‚āđ‰āļēāļāļąāļšāđ‚āļ—āđ€āļ„āđ‡āļ™

DreamBooth āļ•āđ‰āļ­āļ‡āļāļēāļĢāļĢāļđāļ›āļ āļēāļžāļ›āļĢāļ°āļĄāļēāļ“āļāļĩāđˆāļĢāļđāļ›

āđ€āļŠāđˆāļ™āđ€āļ”āļĩāļĒāļ§āļāļąāļšāļ§āļīāļ˜āļĩāļāļēāļĢāļ›āļĢāļąāļšāđāļ•āđˆāļ‡āļ āļēāļžāđ„āļĄāđˆāļāļĩāđˆāļ āļēāļžāđāļšāļšāļ­āļ·āđˆāļ™āđ† DreamBooth āļ—āļģāļ‡āļēāļ™āđ„āļ”āđ‰āļˆāļēāļāļ āļēāļžāđ€āļžāļĩāļĒāļ‡āđ„āļĄāđˆāļāļĩāđˆāļ āļēāļž

āļ‚āđ‰āļ­āđāļĨāļāđ€āļ›āļĨāļĩāđˆāļĒāļ™āļ—āļąāđˆāļ§āđ„āļ›āļ‚āļ­āļ‡āļāļēāļĢāđƒāļŠāđ‰ DreamBooth āļ„āļ·āļ­āļ­āļ°āđ„āļĢ

āđ€āļ™āļ·āđˆāļ­āļ‡āļˆāļēāļāđ€āļ›āđ‡āļ™āļāļēāļĢāļ›āļĢāļąāļšāđāļ•āđˆāļ‡āļ™āđ‰āļģāļŦāļ™āļąāļ āđ„āļŸāļĨāđŒ DreamBooth āļˆāļķāļ‡āļĄāļĩāļ‚āļ™āļēāļ”āđƒāļŦāļāđˆāļ‚āļķāđ‰āļ™ āđāļĨāļ°āļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāļˆāļķāļ‡āļĄāļĩāļ„āļ§āļēāļĄāļ•āđ‰āļ­āļ‡āļāļēāļĢāļĄāļēāļāļāļ§āđˆāļē Textual Inversion

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļāļēāļĢāļĢāļąāļšāļĢāļđāđ‰āļāļēāļĢāļāļĢāļ°āļ—āļģ

āļ§āļīāļŠāļ§āļĨāđ€āļ­āđ„āļ­

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →