深入探讨
DreamBooth 论文介绍了从少量图像进行的主体驱动生成。它使用唯一标识符和类别名词微调预训练的文生图模型，并使用特定类别生成的示例添加先验保持损失。该方法可以使主体个性化，但也可能导致过拟合或改变类别分布。图像数量和结果取决于研究中描述的主体、模型和训练配置。
现实世界的实施
在描述主体的提示词中使用稀有标识符 Token。
包含特定类别的示例，以减少模型向更广泛的类别先验发生偏移。
对比保留的姿势、场景和提示词中的个性化输出。
LoRA 可以在微调设置中表示低秩参数更新，但它是一种独立的适配技术。
DreamBooth的未来
在个性化模型时，比较保留提示词上的保真度、多样性和类别漂移。报告数据大小、基础检查点和适配方法。引用的论文并未证实微调对每个身份都是安全的，也没有证实某种参数高效的配方对所有主题都是最好的。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是 DreamBooth？
DreamBooth 微调文生图扩散模型，通过使用主体图像和特定类别的先验保持目标，将稀有标识符与特定主体关联起来。
DreamBooth 修改了哪些内容而 Textual Inversion 没有修改？
DreamBooth 微调网络的权重，而文本反转仅学习嵌入。
DreamBooth预先保存丢失的目的是什么？
对自动生成的班级图像进行训练可以锚定一般概念，因此模型不会忘记如何绘制班级的其他成员。
DreamBooth 培训提示中通常如何引用主题？
唯一的稀有标识符与类名词配对，以便模型将新的详细信息附加到令牌上。
DreamBooth 大约需要多少主题图像？
与其他少镜头个性化方法一样，DreamBooth 只需要几张图像即可发挥作用。
使用 DreamBooth 的常见权衡是什么？
因为它对权重进行微调，所以 DreamBooth 文件更大，并且训练比文本反转要求更高。