概述
它教导扩散模型直接遵循编辑指令。
深入探讨
InstructPix2Pix 是一种以输入图像和编辑指令为条件的扩散模型。其作者通过使用 GPT-3 生成指令并使用 Stable Diffusion 的提示到提示来创建编辑后的图像示例来构建合成训练对。他们报告说，经过训练的模型可以将用户编写的指令应用于真实图像，而无需针对每个示例进行微调或反转。这并不意味着推理是单个网络评估：扩散采样仍然使用迭代去噪。两个指导尺度根据与源图像的相似性来衡量指令的遵守情况，并且模型可以更改超出所请求编辑范围的细节，因此仍然有必要进行审查。
现实世界的实施
一位博主输入“添加秋叶”，为季节性帖子重新设计夏季风景照片。
一位电子商务卖家指示“将衬衫颜色更改为海军蓝”，以便一次生成产品颜色变体。
一位老师使用“为这张照片上色”来编辑一张历史照片，使黑白档案图像在课堂上变得生动。
模因创建者命令“给狗戴上太阳镜”，而无需手动遮盖狗的脸。
InstructPix2Pix 指令编辑的未来
基于指令的编辑可以使图像更改更容易请求，但生成输出仍然需要审查意外的更改、丢失的细节和不受支持的历史声明。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是 InstructPix2Pix 指令编辑？
InstructPix2Pix 允许您通过输入简单的命令（例如“让它成为冬天”或“把猫变成狗”）来编辑照片，无需遮罩或选择工具。它教导扩散模型直接遵循编辑指令。
您如何告诉 InstructPix2Pix 要更改哪些内容？
您只需输入“让它过冬”之类的指令即可；不需要掩模或区域选择。
InstructPix2Pix 的训练数据是如何创建的？
作者将 GPT-3 生成的字幕对与 Prompt-to-Prompt 图像合成相结合，自动构建三元组。
InstructPix2Pix 的两个引导标尺控制什么？
一个等级决定了编辑遵循指令的程度；另一个控制保留多少源图像。
为什么模型倾向于忽略图像中未提及的部分？
指令针对特定更改，因此模型保留指令未提及的区域。
在应用编辑之前，InstructPix2Pix 是否需要单独对每个图像进行微调或反转？
该论文描述了将经过训练的模型应用于图像和指令，而无需针对每个示例进行微调或反转。扩散模型在推理过程中仍然执行迭代去噪。