概述
它控制将提示词标记与空间特征相关联的交叉注意力图，从而在尝试保留其他图像结构的同时更改选定概念；但无法保证精确的保留效果。
深入探讨
Hertz 等人将 Prompt-to-Prompt 描述为对扩散模型生成图像的纯文本编辑。该方法干预了在去噪过程中连接文本标记与空间图像特征的交叉注意力图。替换一个词可以修改其关联的概念，添加一个词可以引入新的属性，而重新加权则会改变标记的影响力。论文报告了在选定提示词和图像上的结果；图像的其他部分可能会发生变化，因此场景保留并非完美。官方实现包含 LocalBlend，它使用与选定词关联的注意力图来构建空间掩码。Prompt-to-Prompt 编辑了生成图像的扩散轨迹。编辑真实照片通常需要额外的反演过程。InstructPix2Pix 是一个单独的模型，通过在生成的图像编辑指令对上进行训练，以遵循来自输入图像的书面编辑指令。
现实世界的实施
说明性示例：替换生成场景中的一个对象，并检查不相关的细节是否保持稳定。
说明性示例：在提示词中添加描述性属性，并比较生成的构图。
论文方法：通过重新加权选定标记的注意力，来调整其对生成图像的影响。
官方实现：LocalBlend 使用选定词的注意力图来形成空间掩码。
提示到提示交叉注意力编辑的未来
在目标模型、提示词类型和图像集上，通过目标更改和保留度量来评估编辑效果。在匹配条件下，将注意力控制与指令遵循编辑器进行比较。任何关于完美保留、广泛采用或未来集成的声明都需要独立的证据支持。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是提示到提示交叉注意编辑？
Prompt-to-Prompt 是一种用于扩散模型生成图像的文本驱动编辑方法。它控制将提示词标记与空间特征相关联的交叉注意力图，从而在尝试保留其他图像结构的同时更改选定概念；但无法保证精确的保留效果。
Prompt-to-Prompt 重用哪些内部信息来保留场景？
交叉注意力图对每个单词影响图像的位置进行编码，因此重用它们可以在编辑过程中保持布局一致。
Prompt-to-Prompt 是否需要对模型进行微调？
它在推理时操纵注意力，不需要额外的训练。
重新调整代币注意力的权重可以实现什么目的？
缩放代币的注意力值会增强或减弱该概念出现的强度。
哪种单独的模型经过训练，可以遵循来自输入图像的书面图像编辑指令？
InstructPix2Pix 是一个单独的条件扩散模型，经过训练可以根据书面指令编辑输入图像。其论文描述了生成的训练示例；这并不能证明它源自 Prompt-to-Prompt。
Prompt-to-Prompt 的 LocalBlend 功能使用什么来定位更改？
官方实现的 LocalBlend 使用与选定词关联的注意力图来构建一个掩码，将潜在空间的变化限制在相关区域内。