空文本反转
空文本反转是一种技术，可让您使用文本驱动的扩散模型（如稳定扩散）编辑真实照片，同时保持您不要求更改的所有内容完好无损。
概述
它弥合了生成新图像与忠实重构和重新编辑已有图像之间的差距。
深入探讨
要使用扩散模型编辑真实图像，首先必须向后运行生成过程以找到可以重新创建图像的噪声。一种称为 DDIM 反演的快速方法可以做到这一点，但会发生漂移，因此重建看起来略有错误。无分类器的引导会增强文本提示引导图像的强度，但会严重放大漂移。 Google 研究人员于 2022 年引入的空文本反演通过冻结模型并优化指南中使用的“空”（空）文本嵌入（每个去噪时间步长）来解决此问题。这会将重建固定回原始图像，以便以后的提示编辑（例如将“狗”变成“猫”）仅更改预期内容。
技术洞察
无分类器指导在条件预测（带有提示）和无条件预测（带有空提示嵌入）之间进行推断。空文本反转使真实提示和权重保持固定，并且仅对大约 50 个扩散步骤中的每个空嵌入进行梯度优化，以便引导轨迹跟踪预先计算的 DDIM 路径。其结果是具有完全引导强度的近乎像素完美的重建，使提示可以自由地驱动精确的编辑。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
空文本反演的未来
空文本反演速度很慢，因为它优化了每个图像，因此较新的工作推动了即时、免优化的反演。负提示反演、直接反演等方法以及基于更快一致性和少步模型的方法旨在在单次前向传递中实现相同的保真度。预计反转将成为消费者照片编辑器中一个安静的内置步骤，从而实现可靠的真实图像编辑，而无需用户看到数学。
现实世界的实施
编辑真实的度假照片，使停放的汽车变成不同的颜色，而街道、人和灯光保持不变
在不改变背景或姿势的情况下交换全家福中真实宠物的品种
通过仅编辑提示词来更改风景照片的季节（夏季树叶到秋季）
在研究演示和编辑应用程序中对用户上传的图像进行“提示到提示”式本地编辑
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Null-Text Inversion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是空文本反转？
空文本反转是一种技术，可让您使用文本驱动的扩散模型（如稳定扩散）编辑真实照片，同时保持您不要求更改的所有内容完好无损。它弥合了生成新图像与忠实地重建和重新编辑已有图像之间的差距。
空文本反转实际上优化了什么？
它保持模型和真实提示冻结，仅优化每个时间步的无条件/空文本嵌入，这是快速且非破坏性的。
为什么普通 DDIM 反转在用于编辑时变得不可靠？
DDIM 反演会累积小错误，而良好编辑所需的强大指导会放大漂移，从而降低重建质量。
在编辑之前反转真实图像的主要目标是什么？
编辑需要重建原始内容的噪声种子和轨迹，因此即时更改只会改变预期的内容。
空文本反转大致如何处理扩散过程中的优化？
每个时间步都调整不同的空文本嵌入，因此引导路径紧密跟踪预先计算的反演轨迹。
空文本反转最常与哪种编辑方法搭配使用？
一旦真实的图像被忠实地反转，提示驱动的方法（如提示到提示）就可以进行有针对性的、局部的改变。