InstructPix2Pix 指令编辑
InstructPix2Pix 允许您通过输入简单的命令（例如“让它成为冬天”或“把猫变成狗”）来编辑照片，无需遮罩或选择工具。
概述
It taught a diffusion model to follow editing instructions directly.
深入探讨
InstructPix2Pix（Brooks 等人，2023）是一种扩散模型，经过微调，可以获取输入图像和文本指令，并在单次前向传递中输出编辑后的图像。它的巧妙技巧在于训练数据：作者使用 GPT-3 生成前后字幕对，然后使用带有稳定扩散的 Prompt-to-Prompt 来合成匹配的前后图像对。这为他们提供了一个大型数据集（原始图像、指令、编辑图像）三元组来进行训练，所有这些都无需手动标记。由于指令描述的是变化而不是完整的场景，因此模型保留了图像中未提及的部分。它使用两种指导尺度，一种衡量它遵循指令的程度，另一种衡量它对原始图像的忠实程度，让用户在编辑强度和保真度之间进行权衡。
技术洞察
模型以源图像和指令为条件，沿两个轴应用无分类器引导。一个尺度对文本指令进行加权，另一个对输入图像进行加权。提高图像比例可以保持原始内容的完整性，而提高文本比例可以使编辑更加激进。这种双重指导使得单个通用指令能够可靠地改变一个方面，同时使照片的其余部分保持可识别性。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
InstructPix2Pix 指令编辑的未来
基于指令的编辑正在成为图像工具的默认界面，现已融入主流应用程序和 MagicBrush 等后续应用程序以及新兴的多轮编辑器中。期望更好地保留精细细节，可靠地处理“向左移动灯”等空间指令，以及无缝扩展到视频，其中一个命令即可编辑整个剪辑。将这些模型与语言代理耦合可以让您以对话方式描述完整的编辑会话。
现实世界的实施
一位博主输入“添加秋叶”，为季节性帖子重新设计夏季风景照片。
一位电子商务卖家指示“将衬衫颜色更改为海军蓝”，以便一次生成产品颜色变体。
一位老师使用“为这张照片上色”来编辑一张历史照片，使黑白档案图像在课堂上变得生动。
模因创建者命令“给狗戴上太阳镜”，而无需手动遮盖狗的脸。
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InstructPix2Pix Instruction Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is InstructPix2Pix Instruction Editing?
InstructPix2Pix 允许您通过输入简单的命令（例如“让它成为冬天”或“把猫变成狗”）来编辑照片，无需遮罩或选择工具。它教导扩散模型直接遵循编辑指令。
您如何告诉 InstructPix2Pix 要更改哪些内容？
您只需输入“让它过冬”之类的指令即可；不需要掩模或区域选择。
InstructPix2Pix 的训练数据是如何创建的？
作者将 GPT-3 生成的字幕对与 Prompt-to-Prompt 图像合成相结合，自动构建三元组。
InstructPix2Pix 的两个引导标尺控制什么？
一个等级决定了编辑遵循指令的程度；另一个控制保留多少源图像。
为什么模型倾向于忽略图像中未提及的部分？
指令针对特定更改，因此模型保留指令未提及的区域。
InstructPix2Pix 需要多少次前向传播才能产生编辑？
它是一个单一的条件扩散模型，将图像和指令结合在一起并输出编辑。