空文本反轉
空白文字反轉是一種技術，可讓您使用文字驅動的擴散模型（如穩定擴散）編輯真實照片，同時保持您不要求更改的所有內容完好無損。
概述
It bridges the gap between generating fresh images and faithfully reconstructing and re-editing ones you already have.
深入探討
要使用擴散模型編輯真實影像，首先必須向後執行生成過程以找到可以重新建立影像的雜訊。一種稱為 DDIM 反演的快速方法可以做到這一點，但會發生漂移，因此重建看起來略有錯誤。無分類器的引導會增強文字提示引導影像的強度，但會嚴重放大漂移。 Google 研究人員於 2022 年引入的空文本反演透過凍結模型並優化指南中使用的「空」（空）文字嵌入（每個去噪時間步長）來解決此問題。這會將重建固定回原始影像，以便以後的提示編輯（例如將“狗”變成“貓”）僅更改預期內容。
技術洞察
無分類器指導在條件預測（帶有提示）和無條件預測（帶有空提示嵌入）之間進行推斷。空文本反轉使真實提示和權重保持固定，並且僅對大約 50 個擴散步驟中的每個空嵌入進行梯度優化，以便引導軌跡追蹤預先計算的 DDIM 路徑。其結果是具有完全引導強度的近乎像素完美的重建，使提示可以自由地驅動精確的編輯。
戰略影響
速度與規模
視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
配裝選擇
創意團隊可以透過更少的手動修改來更快地建立概念原型。
團隊與工作流程
操作可以使用以前難以處理的影像和視訊訊號。
空文本反演的未來
空文本反演速度很慢，因為它優化了每個圖像，因此較新的工作推動了即時、免優化的反演。負提示反演、直接反演等方法以及基於更快一致性和少步模型的方法旨在在單次前向傳遞中實現相同的保真度。預計反轉將成為消費者照片編輯器中一個安靜的內建步驟，從而實現可靠的真實圖像編輯，而無需用戶看到數學。
現實世界的實施
編輯真實的度假照片，使停放的汽車變成不同的顏色，而街道、人和燈光保持不變
在不改變背景或姿勢的情況下交換全家福中真實寵物的品種
透過僅編輯提示詞來更改風景照片的季節（夏季樹葉到秋季）
在研究演示和編輯應用程式中對使用者上傳的圖像進行「提示到提示」式本地編輯
風險與防護欄
如果出處不明，肖像權和同意可能會成為法律風險。
模型表現可能因光照、人口統計和環境的不同而有所不同。
除非監控置信閾值，否則誤報可能會被忽略。
實施路線圖
定義精確度、召回率和錯誤成本的接受標準。
使用符合實際生產條件的數據進行測試。
為低置信度或高影響力的預測添加人工審核。
追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Null-Text Inversion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Null-Text Inversion?
空白文字反轉是一種技術，可讓您使用文字驅動的擴散模型（如穩定擴散）編輯真實照片，同時保持您不要求更改的所有內容完好無損。它彌合了生成新圖像與忠實地重建和重新編輯已有圖像之間的差距。
空文本反轉實際上優化了什麼？
它保持模型和真實提示凍結，僅優化每個時間步的無條件/空文本嵌入，這是快速且非破壞性的。
為什麼普通 DDIM 反轉在用於編輯時變得不可靠？
DDIM 反演會累積小錯誤，而良好編輯所需的強大指導會放大漂移，從而降低重建品質。
在編輯之前反轉真實影像的主要目標是什麼？
編輯需要重建原始內容的噪音種子和軌跡，因此即時變更只會改變預期的內容。
空文本反轉大致如何處理擴散過程中的最佳化？
每個時間步都調整不同的空文本嵌入，因此引導路徑緊密追蹤預先計算的反演軌跡。
空文本反轉最常與哪一種編輯方法搭配使用？
一旦真實的影像被忠實地反轉，提示驅動的方法（如提示到提示）就可以進行有針對性的、局部的改變。